xin1u/UltraFlash

解決する課題

Ultra Flashは、高解像度（1Kおよび2K）動画をリアルタイムで生成するという課題に対処します。従来の動画生成モデルは、高解像度出力に必要な計算負荷が高く、生成速度が遅くなることが一般的でした。本フレームワークは、単一のGPU上で1K解像度で約30 FPS、2K解像度で約18 FPSのストリーミング動画生成を実現します。

仕組み

このシステムは、低解像度ストリーミングジェネレーターを基盤としたカスケーディングアーキテクチャを使用しています。動画は4つの主要なステージで処理されます。自己強制ジェネレーターが低解像度の潜在変数を生成し、因果的潜在アップサンプラーが解像度を向上させ、スパース超解像 (SR) Diffusion Transformer (DiT) が詳細を洗練させ、最後に小型デコーダーがこれらの潜在変数を高解像度のピクセル出力に変換します。このフレームワークには、動的キャッシュ管理とブロック・スパース・アテンションが組み込まれており、メモリオーバーヘッドを最小限に抑えつつ、時間的一貫性と速度を維持します。

対象ユーザー

本プロジェクトは、高い視覚的忠実度と低遅延性能の両立を必要とする、リアルタイム生成動画アプリケーションに取り組む研究者や開発者を対象としています。ハイエンドの NVIDIA ハードウェア（24GB+ VRAM）を所有し、効率的でストリーミング可能な動画生成パイプラインをデプロイまたは実験したいユーザー向けに設計されています。

ハイライト

• リアルタイム性能の実現：単一のGPUで1K解像度で約30 FPS、2K解像度で約18 FPS。
• 動的キャッシュ管理 (DCM) を含み、品質をほとんど損なうことなく推論速度を最適化。
• 短い動画から長い動画（最大約10秒）の生成をサポート。
• 標準的な VAE と比較して、潜在変数からピクセルへの変換が高速な小型デコーダーを含むモジュール式パイプラインを提供。