NVlabs/GR00T-WholeBodyControl

何を解決するか

このプロジェクトは、人間型ロボットの全身制御（WBC）を統合的に扱うフレームワークを提供し、特にUnitree G1を対象としています。歩行、這い這い、ジャンプなど、特定の動きごとに別々のコントローラーを設計するという問題を解決するために、幅広い人間らしい動きに一般化できる汎用的行動基盤モデルを提供します。

どう動くか

このプロジェクトの核となるのは、大規模な人間の動きデータ（例：Bones-SEEDデータセット）で訓練された人間型行動基盤モデルであるSONICです。事前に定義された動きではなく、動きの追跡をスケーラブルな学習タスクとして用いることで、単一のポリシーが自然な動きを生成できます。

このシステムは以下のデプロイモードをサポートしています：

• C++ 推論スタック：TensorRTを用いたリアルハードウェアへの高パフォーマンスデプロイ。
• VR遠隔操作：PICO VRヘッドセットを用いたリアルタイムの人間からロボットへの動き転送（データ収集および制御用）。
• 運動学プランナー：キーボードやゲームパッドでロボットを操縦し、移動スタイル（例："スナイピング"や"ボクシング"）を調整できるリアルタイム歩行生成ツール。
• 分離型WBC：下肢に強化学習（RL）を、上肢に逆運動学（IK）を用いるハイブリッドアプローチ。

対象ユーザー

人間型ロボット（特にUnitree G1）を扱うロボット研究者および開発者で、高度な運動スキル、遠隔操作機能、および視覚言語行動（VLA）モデルの学習用データ収集パイプラインが必要な方々。

特徴

• 汎用コントローラー：歩行、走行、膝立ち、ジャンプ、両手操作を1つのモデルで実現可能。
• 低レイテンシオプション：応答性の高い遠隔操作およびVLA実行に最適化された特定のモデルチェックポイント。
• 包括的なツールキット：PPO用の学習スクリプト、モーションキャプチャデータ用のデータ処理パイプライン、C++デプロイスタックを含む。
• MotionBricks：アニメーションおよびロボティクスにおけるインタラクティブな動き制御用のリアルタイム潜在生成モデルのプレビュー。