NVlabs/GR00T-WholeBodyControl

解決的問題

本專案為人形機器人的高級全身控制 (WBC) 提供了一個框架，特別針對 Unitree G1。它解決了無需為每個預定義動作構建單獨控制器即可創建自然、多功能動作（如行走、爬行和跳躍）的問題，同時還為進一步的 AI 訓練實現了高保真遠端操作與數據採集。

工作原理

該專案的核心是 SONIC，這是一個在規模龐大的人類動作數據（如 Bones-SEED 數據集）上訓練的人形機器人行為基礎模型。SONIC 不使用僵化的編程，而是將動作捕捉作為訓練任務，從而允許單一統一策略生成廣泛的行為。該系統包括：

• Model Checkpoints：SONIC 控制器的各種版本，包括用於響應式遠端操作的低延遲版本和用於頭部穩定控制的 v1.1 版本。
• C++ Inference Stack：使用 TensorRT 在物理硬體上進行實時執行的高性能部署層。
• VR Teleoperation：使用 PICO VR 頭戴式裝置將人類動作實時傳輸到機器人的系統。
• Kinematic Planner：透過鍵盤或遊戲手把進行實時運動生成的工具。
• MotionBricks：用於動畫與機器人領域互動式動作控制的潛在生成模型。

適用對象

• 機器人研究人員：正在開發人形機器人行為模型與 VLA（視覺-語言-動作）工作流的人員。
• 機器人操作員：需要高精度全身遠端操作進行數據採集或互動控制的用戶。
• AI 工程師：使用強化學習 (PPO) 與大規模動作數據集訓練或微調人形機器人運動技能的開發人員。

亮點

• 基礎模型方法：使用單一策略實現多樣化行為（行走、跑步、跪姿、拳擊），而非使用獨立的控制器。
• VR 到機器人的傳輸：支持帶有手腕姿勢追蹤的實時三點遠端操作。
• 端到端 VLA 工作流：提供收集遠端操作數據、微調模型並進行部署的流水線。
• 高性能部署：包含用於在真實硬體上進行低延遲推理的 C++ 棧。
• 大規模數據支持：兼容包含超過 14.2 萬個人類動作的 Bones-SEED 數據集。