NVIDIA/flashdreams

何を解決するか

FlashDreams は、インタラクティブな自己回帰型動画および世界モデル向けに設計された高パフォーマンスな推論・サービングライブラリです。自律走行車のシミュレーション、ロボット工学、ゲーム、仮想環境など、低遅延・高スループットの動画合成が求められる複雑なアプリケーションにおけるリアルタイム生成のニーズに対応しています。

動作方法

これは、さまざまな自己回帰型モデルをサポートする最適化されたランタイムプラットフォームです。ローカルウィンドウやWebRTCによるインタラクティブデモなど、異なるモードでモデルを起動するための統一されたシステムを提供し、Wan2.1、OmniDreams、Cosmos-Predict2.5 などの複数の動画および世界モデルファミリーとのネイティブ統合を備えています。

対象ユーザー

このツールは、リアルタイムの世界モデルアプリケーションに取り組む開発者および研究者向けに構築されており、特に高スペックのハードウェア（NVIDIA GPU 80 GB VRAM以上、例：H100）を保有している方々を想定しています。

特徴

• 広範なモデル対応: T2V（テキストから動画）、I2V（画像から動画）、HDMap条件付きドライブモデルなど、複数のモデルファミリーを統合しています。
• インタラクティブ機能: WebRTC やローカルウィンドウを介してリアルタイムのドライブデモをサポートします。
• 高パフォーマンススタック: CUDA 13.x および PyTorch 2.11.0+ に最適化されています。
• 拡張性: 新しいメソッドの追加や、新しいモデルのパイプラインへの統合を可能にする開発者ガイドを提供しています。