NVIDIA Cosmos 3 交互式世界模拟开放模型
Cosmos 3 开放模型概述
NVIDIA 扩展了其 Cosmos 世界模型平台，发布了 Cosmos 3 系列中的四个开放权重检查点。这些 16B 参数模型旨在促进交互式世界模拟以及多传感器、多视角驾驶场景生成。这些模型在 OpenMDW1.1 许可下发布，为研究人员和开发人员构建、适配和优化用于自动驾驶系统和机器人的模拟环境提供了基础。
模型能力
这四个新的检查点在模拟和数据生成中发挥着不同的作用：
- Cosmos3-Nano-Transfer-Auto：一种用于离线合成驾驶数据生成的双向模型。它支持多达 11 个摄像机视角的同步视频以及 RGB-LiDAR 联合生成，并由世界场景地图 (WSM) 控件和文本提示引导。
- Cosmos3-Nano-Sim-Auto：Transfer-Auto 的因果蒸馏流式变体。它通过少步去噪生成连续的同步摄像机视频和 LiDAR 数据块，从而实现长时、交互式的驾驶推演。
- Cosmos3-Nano-Sim-Transfer：旨在将物理模拟器的输出（如深度、分割、边缘和模糊）转换为照片级逼真的 RGB 视频，使模拟器能够在保持真实状态的同时生成视觉观测结果。
- Cosmos3-Nano-Sim-Bimanual：专注于机器人技术，该模型基于双臂机器人动作预测视觉后果，支持诸如 YAM 和 AgiBot 等具身智能体的交互式模拟。
技术架构与训练
Cosmos 3 利用 Mixture-of-Transformers 主干网络，集成了独立的文本处理和视觉生成网络。该系统在压缩的视频潜在空间上运行，其中时间因果注意力机制允许模型处理历史记录和当前控制，同时防止未来帧的信息泄露。
训练过程遵循旨在提高稳定性和性能的四个阶段方案：
- 双向适配：从录制的片段中学习特定领域的控制到视频的关系。
- 教师强制 (Teacher Forcing)：在掩盖未来目标的同时，根据历史观测预测数据块。
- 一致性蒸馏：训练学生模型，使用冻结的教师模型在四个去噪步骤中生成数据块。
- 自我强制 (Self-Forcing)：在学生模型自身生成的历史记录上进行训练，以减轻误差累积，其中冻结的教师模型和评分模型提供分布匹配信号。
实现与适配
NVIDIA 为每个模型提供了训练后方案，允许开发人员将检查点适配到特定的传感器配置、机器人具身或驾驶领域。该框架需要一个带有 NVIDIA GPU 和 NVIDIA Container Toolkit 的 Linux 环境。开发人员可以使用提供的推理技能和笔记本将这些模型集成到现有的模拟流水线中。这些模型旨在作为研究人员的起点，以衡量合成环境对策略学习的支持程度，并为底层模拟技术做出改进贡献。