chenfengxu714/StreamDiffusionV2

何を解決するか

StreamDiffusionV2 は、リアルタイムで高品質な動画を生成する際の遅延とスループットの課題に対処します。動画から動画への動的でインタラクティブな生成を可能にし、クリエイターおよびプラットフォームがさまざまなGPU構成で高フレームレート（FPS）でストリーミング動画コンテンツを生成できるようにします。

動作方法

このシステムは、動画全体ではなくチャンク単位で処理するストリーミング拡散パイプラインを実装しています。因果的DiT（Diffusion Transformer）とリングバッファ型KVキャッシュを活用して、効率的なスライディングウィンドウアテンションを実現します。パイプラインは、単一GPUでのストリーミング、ストリームバッチングなしの単一GPU、マルチGPUのパイプライン並列推論の複数の実行モードをサポートしています。さらに高速化を図るため、TensorRTによるオプションの加速と軽量な TAEHV-VAE デコーダーも提供しています。

対象ユーザー

このツールは、NVIDIA GPU上で高スループットの動画生成が必要なAI研究者、動画クリエイター、リアルタイムインタラクティブ動画アプリケーションを開発する開発者向けに設計されています。

主な特徴

• 高いパフォーマンス：高FPSをサポートするリアルタイムストリーミングに最適化されています。
• 柔軟なスケーラビリティ：単一GPUからマルチGPUのパイプライン並列構成までスケーリング可能。
• ハードウェア最適化：NVIDIA Blackwell GPUへの初期サポートと、オプションのFlash-Attention統合を含みます。
• インタラクティブ機能：動的かつインタラクティブな動画生成タスクに特化して設計されています。