NVIDIA/Isaac-GR00T

NVIDIA Isaac GR00T N1.7 – 适用于人形机器人操作的视觉-语言-动作模型

是什么 – GR00T（通用机器人学习Transformer）是一个开源的视觉-语言-动作（VLA） 模型，接收视频帧和自然语言指令，并输出连续的机器人动作。它专为跨本体使用而设计：相同的权重可控制多种不同类型的机械臂，从双臂操作器到全身人形机器人。

为何重要 – 通过结合机器人示范数据与20,000小时的人类第一人称视频（EgoScale）进行训练，该模型学习到了可从人类运动迁移到机器人控制的操作先验知识。最新GA版本（N1.7）将视觉骨干网络升级为Cosmos-Reason2-2B / Qwen3-VL基础模型，并切换至相对末端执行器（EEF）动作空间，使策略在应用于不同运动学结构的机器人时更具鲁棒性。

核心组件

• 骨干网络 – Cosmos-Reason2-2B（Qwen3-VL视觉-语言模型），以原始宽高比编码图像。
• 动作头 – 扩散Transformer（DiT），对连续动作序列进行去噪，现支持40步预测时域。
• 数据格式 – 使用LeRobot v2基于parquet的数据集，并通过额外的modality.json文件将原始状态/动作向量映射到命名字段（如关节角度、夹爪）。这使得同一段代码可处理多种机器人形态。
• 本体标签 – 使用标签（如LIBERO_PANDA、OXE_DROID_RELATIVE_EEF_RELATIVE_JOINT）告知模型如何解析特定机器人的状态/动作布局。

使用方式

1. 安装 – 克隆仓库并包含子模块，安装git-lfs，然后使用快速的uv工具（或pip）设置环境。由于视频解码依赖torchcodec，需安装GPU驱动（CUDA 12.8/13.x）和FFmpeg 4-7。
2. 运行推理 – 加载检查点（如nvidia/GR00T-N1.7-3B），调用Gr00tPolicy API，提供数据集和适当的--embodiment-tag。笔记本文件（GR00T_inference.ipynb）逐步演示了在DROID样本数据上的零样本推理。
3. 微调 – 使用launch_finetune.py，配合您自己的示范数据（已转换为LeRobot格式）。可混合多个数据集路径，并通过ds_weights_alpha加权。
4. 评估 – 开环评估脚本将预测动作与真实值进行对比；提供仿真基准（RoboCasa、SimplerEnv）和真实硬件测试。
5. 部署 – 使用提供的脚本将模型导出为ONNX或TensorRT，然后将Gr00tPolicy集成到任意机器人控制器中。仓库包含DGX Spark、Jetson Thor和Jetson Orin的平台专用Dockerfile。

可用检查点 – 基础3B参数模型（GR00T-N1.7-3B）可在预训练本体上实现零样本运行。为流行平台提供了多个微调检查点：LIBERO（Franka Panda）、DROID和SimplerEnv（WidowX、Google Robot）。

文档与支持 – 仓库包含硬件要求、数据准备、微调、评估和部署的详细指南。提供商业支持和稳定的Apache-2.0许可证，适用于生产环境。

---

总结 – GR00T N1.7 是一个真正可投入生产的AI模型，连接视觉、语言与连续机器人控制，使研究人员和工程师能够跨多种机器人本体快速原型化并部署通用操作技能。