nv-tlabs/omni-dreams

解決的問題

Cosmos-Dreams 是專為自動駕駛模擬設計的世界模型。它解決了即時生成逼真多鏡頭影片的問題，讓開發人員能夠根據特定的約束與條件來模擬駕駛場景。

工作原理

該模型使用自回歸過程來生成影片區塊。它將單個真實的 RGB 幀作為場景外觀的錨點，將文本提示作為駕駛上下文，並將每幀高清地圖圖像與軌跡位姿作為結構化條件輸入。每個生成的影片區塊隨後會被饋送回模型中，以實現場景的持續演進。

適用對象

本專案主要面向從事自動駕駛模擬與世界模型研究的研究人員與開發人員，特別是那些可以使用高端 NVIDIA 硬體（如 8-GPU Ampere/Hopper 節點）的人員。

亮點

• 即時生成：為模擬生成逼真的多鏡頭影片。
• 結構化條件化：使用高清地圖與軌跡位姿來引導影片生成。
• 訓練後支持：包含用於使用 student-init、bidirectional teacher 與 self-forcing distillation 等技術進行模型微調的啟動器與配置。
• 整合：與配套專案 FlashDreams 協同工作，實現互動式駕駛與批次影片生成。