HorizonRobotics/HoloMotion

解決する課題

HoloMotionは、人型ロボット制御のためのエンドツーエンドフレームワークを提供し、ロボットが複雑な人間の動きを追跡し、スパースから全身までのコマンドに従うことを可能にします。VR、慣性センサー、視覚ソースなど、多様なモーションキャプチャデータと現実世界のロボット実行との間のギャップを埋め、ユーザーごとのトレーニングを必要とせずに、高性能な遠隔操作と動作模倣を実現します。

仕組み

このプロジェクトでは、リファレンス条件付きの混合エキスパート (MoE) Transformerアーキテクチャを使用しています。HoloSMPLモジュールを通じて、さまざまな入力ソースを共有のSMPLベースの表現に標準化します。その後、HoloRetargetコンポーネントがこれらの動作を特定のロボットリファレンスに変換します。システムはリアルタイム推論をサポートしており、全身の動作シーケンスやスパースなキーポイントコマンド（骨盤や手首など）に基づいて、ロボット上またはシミュレーション内で直接ポリシーを実行し、人型ロボットの関節を制御できます。

対象ユーザー

このプロジェクトは、人型ロボットの移動、遠隔操作、全身制御に取り組むロボット工学の研究者やエンジニア向けに設計されています。G1人型ロボットなどのハードウェアに事前学習済みのモーション追跡ポリシーをデプロイしたい方や、ロボットトレーニング用のモーションデータを処理するための標準化されたパイプラインを必要としている方に特に役立ちます。

ハイライト

• 統合パイプライン： モーションデータの取り込みやリターゲティングから、ポリシーのトレーニング、実機へのデプロイまで、ワークフロー全体をカバーします。
• 高性能推論： リアルタイム制御に最適化されており、ロボット上で300+ FPSを達成し、シーケンスレベルのトレーニングをサポートします。
• 柔軟な制御： 単一のポリシー内で、骨盤のみの追跡や多点キーポイント追跡など、複数のコマンドモードをサポートします。
• クロスプラットフォーム互換性： さまざまなモーションキャプチャ入力を統合するツールを提供し、シミュレーション環境および物理ハードウェア全体でのデプロイをサポートします。