nv-tlabs/omni-dreams

解决的问题

Cosmos-Dreams 是专为自动驾驶仿真设计的世界模型。它解决了实时生成逼真多摄像头视频的问题，允许开发人员根据特定的约束和条件模拟驾驶场景。

工作原理

该模型使用自回归过程来生成视频块。它将单个真实的 RGB 帧作为场景外观的锚点，将文本提示作为驾驶上下文，并将每帧高清地图图像和轨迹位姿作为结构化条件输入。每个生成的视频块随后被反馈到模型中，以实现场景的持续演进。

适用对象

该项目主要面向从事自动驾驶仿真和世界模型研究的研究人员和开发人员，特别是那些可以使用高端 NVIDIA 硬件（如 8-GPU Ampere/Hopper 节点）的人员。

亮点

• 实时生成：为仿真生成逼真的多摄像头视频。
• 结构化条件化：使用高清地图和轨迹位姿来引导视频生成。
• 训练后支持：包含用于使用 student-init、bidirectional teacher 和 self-forcing distillation 等技术进行模型微调的启动器和配置。
• 集成：与配套项目 FlashDreams 协同工作，实现交互式驾驶和批量视频生成。