NVIDIA/flashdreams

FlashDreams – ビデオおよび世界モデルのための高性能リアルタイム推論

概要 – FlashDreamsは、大規模な自己回帰ビデオ生成および世界モデルネットワークをインタラクティブな速度で実行できるオープンソースライブラリ (Apache-2.0) です。これは元々NVIDIAの OmniDreams デモのランタイムとして開発されましたが、現在ではゲーム、自動運転シミュレーション、ロボティクス、または仮想環境で使用されるあらゆる「リアルタイム」生成モデルのためのプラットフォームとして汎用化されています。

主な機能

• リアルタイムサービング – 最適化されたGPUカーネル、マルチGPUスケジューリング、および低遅延パイプラインにより、モデルがビデオフレームや世界状態の更新を表示速度よりも速く生成できます。
• モデルカタログ – NVIDIAがリリースした一連のモデル（Self-Forcing, OmniDreams, LingBot-World, Waypoint 1.5, Wan2.1, Causal-Forcing, FlashVSR, Cosmos-Predict2.5 など）に対するファーストパーティ統合。各統合には、すぐに実行可能なランナー、ベンチマーク数値、およびマルチGPU起動スクリプトが付属しています。
• 柔軟なデプロイメント – pip 経由でのインストール、または適切なCUDA-13（またはオプションのCUDA-12）PyTorchスタックをプルする uv ベースのワークフローを使用できます。NVIDIA Container Toolkit を含むDockerイメージもサポートされています。
• 拡張可能なアーキテクチャ – リポジトリには ARCHITECTURE.md、構成システム、および「新しい統合」ガイドが用意されており、開発者は独自の自己回帰ビデオや世界モデルのコードを組み込むことができます。
• インタラクティブデモ – ユーザーがキーボード/マウスまたはWebRTCを通じて世界モデルを制御できる運転デモ (OmniDreams) が含まれており、クローズドループ生成を実演しています。

一般的なワークフロー

1. ライブラリをインストールします (uv sync --extra runners または pip install flashdreams)。
2. Hugging Face からモデルチェックポイントをプルします（HFトークンが必要です）。
3. ランナーを起動します（例: flashdreams-run-v2 t2v-self-forcing-wan2.1-t2v-1.3b … --prompt "A cat surfing."）。
4. ランナーは生成されたフレームをビデオファイルまたはインタラクティブウィンドウにストリーミングします。

ハードウェア要件 – ≥ 80 GB VRAM を搭載したNVIDIA GPU向けに設計されています（H100 80 GBがリファレンスです）。コンシューマー向けGPUでは通常メモリ不足になります。READMEにモデルごとのVRAM要件が記載されています。

対象ユーザー – 高スループットのビデオ生成を構築または評価する研究者、世界モデルベースのシミュレーション用に本番グレードの推論サーバーを必要とするエンジニア、およびNVIDIAの最新の生成ビデオモデルをリアルタイムで簡単に実行したい開発者。

詳細情報 – 完全なドキュメントは https://nvidia.github.io/flashdreams を参照してください。また、モデル固有のページや、コミュニティサポートのためのNVIDIA Omniverse Discordチャンネル #flashdreams もご利用いただけます。