NVIDIA GTC 2025 物理 AI 发布：Cosmos Transfer、物理 AI 数据集和 Isaac GR00T N1

NVIDIA 在 GTC 2025 上发布了三项主要的开源发布，以加速物理 AI 的发展：Cosmos Transfer 世界基础模型、全面的物理 AI 数据集以及 Isaac GR00T N1 人形机器人推理模型。这些工具为开发者提供了生成高保真合成环境、访问商业级机器人数据以及为人形机器人实现广义推理的能力。

Cosmos Transfer：可控世界基础模型

Cosmos Transfer 是一个 70 亿参数的世界基础模型（WFM），旨在以精确控制布局、对象放置和运动的方式生成逼真的视频序列。它能够从结构化输入创建高保真的虚拟世界场景，这对于通过 NVIDIA Omniverse 平台扩展自动驾驶汽车和机器人的合成数据生成至关重要。

技术实现与控制机制

Cosmos Transfer 采用多控制架构，其中各个 ControlNet 针对每种传感器模态分别训练。在推理过程中，开发者可以使用多种结构化的视觉或几何数据类型来引导输出，包括：

  • 空间和几何输入：3D 边界框图、深度图和 LiDAR 扫描。
  • 运动和布局输入：轨迹图、分割图、边缘图和人体运动关键点。
  • 环境数据：HD 地图。

这些分支的控制信号会先乘以自适应时空控制图，然后相加，再集成到基础模型的 transformer 块中。这使得开发者既可以严格保留结构和外观，也可以在保持结构的同时改变外观，例如改变天气条件或环境。

开放物理 AI 数据集

NVIDIA 在 Hugging Face 上发布了一份商业级、预验证的物理 AI 数据集，以支持诸如 Cosmos Predict 之类的基础模型的后训练。

该数据集包括：

  • 机器人轨迹：15 TB 数据，代表超过 320,000 条轨迹。
  • 3D 资产：最多 1,000 个通用场景描述（OpenUSD）资产，包括专门的 SimReady 集合。

NVIDIA Isaac GR00T N1：通用人形推理

NVIDIA Isaac GR00T N1 是首个专为通用人形机器人推理和技能设计的开放基础模型。NVIDIA Isaac GR00T-N1-2B 模型是一个跨具身模型，能够处理多模态输入（语言和图像），以在不同环境和不同机器人硬件上执行操作任务，例如 1X Neo 和 Fourier GR-1。

双系统认知架构

Isaac GR00T N1 采用受人类认知启发的双系统架构，以将高层次推理与低层次执行分离：

  • 系统 2（视觉-语言模型）：基于 NVIDIA-Eagle 和 SmolLM-1.7B，该系统负责有条理的思考。它解释视觉和语言指令，以推理环境并规划必要的行动。
  • 系统 1（扩散 Transformer）：此动作模型将系统 2 的高层次计划转换为精确的连续机器人运动和动作。

能力与训练

GR00T N1 在诸如单臂或双臂抓取和操作物体、在臂之间转移物品以及执行需要持续上下文理解的多步骤任务等方面表现出强大的泛化能力。这些能力针对物料搬运、包装和检测应用。

该模型在一个多样化的数据集上进行训练，该数据集包括真实捕获的数据、互联网规模的视频数据以及通过 NVIDIA Isaac GR00T Blueprint 生成的合成数据。

Sources