NVIDIA/cosmos

解决的问题

NVIDIA Cosmos 是一个专为机器人、自动驾驶车辆和智能基础设施构建「物理AI」而设计的开源平台。它提供了一个统一的世界模型框架，能够理解和生成物理世界，弥合了视觉-语言模型、视频生成模型与世界-动作模型之间的差距。

工作原理

Cosmos 3 采用混合Transformer（MoT）架构，结合了用于推理的自回归Transformer和用于多模态生成的扩散Transformer。系统主要在两种模式下运行：

• 推理模式：处理文本和视觉输入，生成文本输出，用于任务规划、物理推理和动作预测等任务。
• 生成模式：处理文本、视觉、声音和动作输入，生成图像、视频、同步声音以及动作条件化的轨迹。

系统使用统一的3D多维旋转位置嵌入（mRoPE），以在不同模态之间保持空间和时间的一致性。

适用人群

• 机器人开发者：用于创建实时机器人策略和动作轨迹。
• AI研究人员：用于开发世界模拟器和合成数据生成。
• 自主系统工程师：用于构建车辆和智能基础设施的决策系统。

主要亮点

• 全模态能力：联合处理和生成语言、图像、视频、音频和动作序列。
• 灵活的模型家族：包含 Super（64B）、Nano（16B）和 Edge（4B）模型，适用于从数据中心到 Jetson 边缘设备的各种硬件。
• 多样化的流程：支持文本到视频、图像到视频、视频到视频，以及前向动力学（从动作预测未来状态）。
• 广泛的集成：与 Diffusers、vLLM-Omni、TensorRT-LLM 和 SGLang 兼容，适用于研究和生产部署。