NVlabs/GR00T-WholeBodyControl

解決する課題

このプロジェクトは、特にUnitree G1を対象としたヒューマノイドロボットの高度な全身制御（WBC）のためのフレームワークを提供します。これは、個別の定義済み動作ごとに個別のコントローラーを構築することなく、自然で多才な動き（歩行、這い回り、ジャンプなど）を生成する問題を解決し、同時にさらなるAIトレーニングのための高精度なテレオペレーションとデータ収集を可能にします。

仕組み

プロジェクトの核となるのは、大規模な人間の動作データ（Bones-SEEDデータセットなど）でトレーニングされたヒューマノイド行動基盤モデルSONICです。硬直したプログラミングの代わりに、SONICはモーショントラッキングをトレーニングタスクとして使用し、単一の統合されたポリシーで幅広い動作を生成できるようにします。システムには以下が含まれます：

• Model Checkpoints: レスポンスの良いテレオペレーションのための低遅延バージョンや、姿勢安定制御のためのv1.1を含む、SONICコントローラーの様々なバージョン。
• C++ Inference Stack: 物理ハードウェア上でのリアルタイム実行のためにTensorRTを使用した高性能デプロイメントレイヤー。
• VR Teleoperation: PICO VRヘッドセットを使用して、人間の動きをロボットにリアルタイムで転送するシステム。
• Kinematic Planner: キーボードまたはゲームパッドを介したリアルタイムの移動生成のためのツール。
• MotionBricks: アニメーションおよびロボット工学におけるインタラクティブな動作制御のための潜在生成モデル。

対象者

• ロボット研究者: ヒューマノイド行動モデルやVLA（Vision-Language-Action）ワークフローを開発している方。
• ロボットオペレーター: データ収集やインタラクティブな制御のために高精度な全身テレオペレーションを必要とするユーザー。
• AIエンジニア: 強化学習（PPO）と大規模な動作データセットを使用して、ヒューマノイドの運動スキルをトレーニングまたは微調整する開発者。

ハイライト

• 基盤モデルアプローチ: 個別のコントローラーではなく、多様な動作（歩行、走行、膝立ち、ボクシング）に対して単一のポリシーを使用。
• VRからロボットへの転送: 手首のポーズトラッキングを伴うリアルタイムの3点テレオペレーションをサポート。
• エンドツーエンドのVLAワークフロー: テレオペデータの収集、モデルの微調整、およびデプロイのためのパイプラインを提供。
• 高性能デプロイメント: 実機での低遅延推論のためのC++スタックを含む。
• 大規模データサポート: 14.2万件以上の人間の動作を含むBones-SEEDデータセットと互換性がある。