Open-X-Humanoid/HEX

解決する課題

HEX は、異なる人型ロボットプラットフォーム間で複雑で長期的な全身操作を実行するという課題に対処します。多様な人型ロボットの状態を共通の形式に整列させることで、「身体構造のギャップ」—あるロボットのデータが別のロボットで簡単に使用できない問題—を解決し、単一のポリシーを異なるハードウェア間で転送できるようにします。

仕組み

HEX は視覚-言語-動作（VLA）フレームワークであり、視覚と言語の理解に Qwen-VL バックボーンを使用します。ロボットの動きを処理するために、2つの専門コンポーネントを採用しています：

1. 統一固有感覚予測器（UPP）： 異種の人型ロボットの身体状態を共有の「身体部位スロット」に整列させます。
2. フローマッチングアクションヘッド： ロボットの腕、手、腰の連続的な将来のアクションを予測します。

展開時には、HEX は上半身と腰の高レベルな調整を担当し、脚の安定性と動きを管理する別の低レベル強化学習ベースのコントローラーに高レベルなコマンドを送信します。

対象読者

人型ロボティクスに取り組む研究者や開発者、特にクロス身体構造学習、全身制御、視覚-言語-動作モデルに焦点を当てている人々。

ハイライト

• クロス身体構造転送： 複数の人型プラットフォーム（例：Unitree G1、H1、天工シリーズ）からのデータから予測的な身体ダイナミクスを学習します。
• 全身協調： 視覚、言語、固有感覚を統合して、腕、手、腰の動きを調整します。
• 広範なデータセット： 処理済みのマルチ身体構造事前学習データセットと実世界タスクデータセットを提供します。
• ハイブリッド制御アーキテクチャ： 高レベル VLA ポリシーと低レベル RL コントローラーを組み合わせて、安定した人型操作を実現します。