NVIDIA/cosmos
NVIDIA Cosmos is an open platform of world models, datasets, and tools that enables developers to build Physical AI for robots, autonomous vehicles, smart infrastructure, and more.
解决的问题
NVIDIA Cosmos 为构建「物理 AI」应用（如机器人、自动驾驶车辆和智能基础设施）提供了基础。它解决了模型不仅需要理解世界，还需能够模拟世界、预测未来状态，并生成可在现实世界中执行的物理移动策略的需求。
工作原理
Cosmos 3 使用统一的 Mixture-of-Transformers 架构创建多模态世界模型。其主要分为两个功能模块：
- Reasoner：接收文本和视觉输入，输出文本，实现世界理解、语义锚定、任务规划和具身推理。
- Generator：接收文本、视觉、声音和动作输入，输出视觉、声音和动作，实现世界模拟、合成数据生成和策略学习。
适用人群
专为物理 AI 开发者设计，包括从事机器人、自动驾驶以及物理智能体训练用合成数据生成的开发者。
主要亮点
- 三种模型层级：提供 Super（64B）用于高质量合成数据，Nano（16B）用于速度与质量的平衡，Edge（4B）用于实时设备端部署。
- 多模态能力：支持文本、视觉、声音和物理动作等多种输入与输出。
- 物理感知生成：能够渲染动量传递和物理保真度（例如牛顿摆）。
- 动作条件世界建模：支持前向动力学，例如从摄像头和手部姿态输入进行自中心滚动预测。
相关
- 项目
- 项目
- 项目
- Dispatch
- Dispatch