nv-tlabs/omni-dreams

解决的问题

OmniDreams 是专为自动驾驶仿真设计的的世界模型。它解决了实时生成写实的多摄像头视频的问题，使得能够创建合成驾驶环境，用于训练和测试自动驾驶车辆系统。

工作原理

该模型采用自回归生成过程。它以单张真实RGB帧作为场景外观的锚点，以文本提示提供驾驶上下文，并以每帧的HD地图图像和轨迹姿态作为结构化条件。模型以块为单位生成视频帧，并将每个块反馈到下一步，以保持时间上的一致性。

适用人群

本项目主要面向从事自动驾驶仿真和世界模型的研究人员与开发者，特别是拥有高端NVIDIA硬件（例如8-GPU Ampere/Hopper节点）的用户。

主要亮点

• 实时生成：为仿真生成写实的多摄像头视频。
• 结构化条件：使用HD地图和轨迹姿态引导生成过程。
• 训练后能力：包含使用多种蒸馏方法微调 Cosmos2 SV-HDMap 世界模型的工具。
• 集成性：可与配套项目 FlashDreams 配合使用，支持交互式驾驶和批量推理。