NVIDIA/flashdreams

解決的問題

FlashDreams 是一個為互動式自回歸影片與世界模型設計的高效率推論與服務程式庫。它解決了自動駕駛車模擬、機器人、遊戲與虛擬環境等複雜應用中對即時生成的需求，這些應用需要低延遲、高吞吐量的影片合成。

作用方式

它作為一個優化後的執行時平台，支援多種自回歸模型。提供統一的系統，可在不同模式下啟動模型（例如本地視窗或 WebRTC 用於互動式示範），並內建多個影片與世界模型家族的原生整合，包括 Wan2.1、OmniDreams 與 Cosmos-Predict2.5。

適用對象

此工具專為擁有高階硬體（如 NVIDIA GPU 80 GB VRAM 或以上，例如 H100）的開發者與研究人員設計，用於開發即時世界模型應用。

主要特色

• 廣泛模型支援：整合多個模型家族，包括 T2V（文字轉影片）、I2V（影像轉影片）以及 HDMap 條件驅動模型。
• 互動功能：支援透過 WebRTC 或本地視窗進行即時互動式駕駛示範。
• 高效能堆疊：針對 CUDA 13.x 與 PyTorch 2.11.0+ 優化。
• 可擴展性：提供開發者指南，支援新增方法並整合新模型至流程中。