tensorforger/FluxRT

Real-time stream editing pipeline powered by the FLUX.2-klein-4B model, optimized for consumer GPUs

What it solves

FluxRT は、低遅延でウェブカメラやビデオフィードを変換するために設計されたリアルタイム・ストリーム編集パイプラインです。インタラクティブなプロンプト更新とリファレンス画像条件付けが可能になり、AI VTubing、仮想試着、クリエイティブ・コーディングに適しており、コンシューマー向け GPU に最適化されています。

How it works

FluxRT は FLUX.2-Klein instruct image editing model を使用し、リアルタイム性能を実現するためにいくつかの最適化を採用しています：

  • Spatial KV Cache: カスタムキャッシュのバリエーションで、前のフレームの中間計算を再利用します。ビデオフレームは時間的に一貫性があるため、1フレームあたり 20-50% のトークンのみを再計算し、GPU 利用率と遅延を低減します。
  • Real-Time Frame Interpolation: RIFE model を統合して中間フレームを生成し、コアモデルの遅延を増やすことなくスムーズな動きを実現します。
  • Multiprocessing & Shared Memory: 計算、I/O、およびレンダリングを別々のプロセス（Main, Inference, Output Scheduler）に分離し、共有メモリを使用してニアゼロコピーのフレーム転送を実現します。
  • Model Compilation: TorchInductor を使用してランタイム性能を最大化します。

Who it’s for

コンテンツクリエイター、AI VTuber、およびリアルタイム AI 画像変換とインタラクティブな視覚芸術に関心のある開発者。

Highlights

  • High Performance: RTX 4090/5090 GPU で 15-40 FPS を達成し、エンドツーエンドの遅延は約 0.2-0.3 秒です。
  • Virtual Webcam Support: 仮想ウェブカメラを作成できる GUI を含んでおり、出力を OBS, Zoom, Chrome などのアプリにストリーミングできます。
  • Reference Image Conditioning: FLUX.2 reference image 機能を生来的にサポートしており、リアルタイム AI 試着などのタスクに適しています。
  • Extensibility: TAEF2 による高速デコード、Flow Upscaler による超解像、int8 quantization による低 VRAM 使用量、LivePortrait によるリアルタイム・リップシンクを実現するオプション拡張機能をサポートしています。