NVlabs/GR00T-WholeBodyControl

解决的问题

本项目为人形机器人的高级全身控制 (WBC) 提供了一个框架，特别针对 Unitree G1。它解决了无需为每个预定义动作构建单独控制器即可创建自然、多功能动作（如行走、爬行和跳跃）的问题，同时还为进一步的 AI 训练实现了高保真遥操作和数据采集。

工作原理

该项目的核心是 SONIC，这是一个在规模庞大的人类动作数据（如 Bones-SEED 数据集）上训练的人形机器人行为基础模型。SONIC 不使用僵化的编程，而是将动作捕捉作为训练任务，从而允许单个统一策略生成广泛的行为。该系统包括：

• Model Checkpoints：SONIC 控制器的各种版本，包括用于响应式遥操作的低延迟版本和用于头部稳定控制的 v1.1 版本。
• C++ Inference Stack：使用 TensorRT 在物理硬件上进行实时执行的高性能部署层。
• VR Teleoperation：使用 PICO VR 头显将人类动作实时传输到机器人的系统。
• Kinematic Planner：通过键盘或游戏手柄进行实时运动生成的工具。
• MotionBricks：用于动画和机器人领域交互式动作控制的潜在生成模型。

适用对象

• 机器人研究人员：正在开发人形机器人行为模型和 VLA（视觉-语言-动作）工作流的人员。
• 机器人操作员：需要高精度全身遥操作进行数据采集或交互控制的用户。
• AI 工程师：使用强化学习 (PPO) 和大规模动作数据集训练或微调人形机器人运动技能的开发人员。

亮点

• 基础模型方法：使用单一策略实现多样化行为（行走、跑步、跪姿、拳击），而非使用独立的控制器。
• VR 到机器人的传输：支持带有手腕姿态追踪的实时三点遥操作。
• 端到端 VLA 工作流：提供收集遥操作数据、微调模型并进行部署的流水线。
• 高性能部署：包含用于在真实硬件上进行低延迟推理的 C++ 栈。
• 大规模数据支持：兼容包含超过 14.2 万个人类动作的 Bones-SEED 数据集。