YanjieZe/GMR

解決する課題

GMR (General Motion Retargeting) は、さまざまなソース（SMPL-X、BVH、FBX、または単眼ビデオなど）からキャプチャされた人間の動作を、人型ロボットが実行可能な関節指令に変換します。これは、人体運動と多様なロボットモデルの自由度や物理的制約との間のギャップを埋めるという問題を解決し、ロボット制御のための遠隔操作や強化学習といったアプリケーションを可能にします。

仕組み

GMRは人間の動作データ（各フレームには身体部位ごとのグローバルな平行移動と回転が含まれます）を受け取り、ロボットの特定の構造を考慮したリターゲティングプロセスを通じて、ロボットの動作データ（ベース位置、ベース回転、関節角度）を生成します。複数の入力フォーマット（例：AMASS/OMOMOからのSMPL-X、LAFAN1/Nokov/XsensからのBVH、OptiTrackからのFBX、さらにはPICOストリーミング）と、複数の人型ロボット（17種類以上をサポート）に対応しています。出力はMuJoCoで視覚化したり、ビデオとして録画したり、後続の用途のためにpickleファイルとして保存したりできます。コードはリアルタイム性能を重視して設計されており、強化学習のトラッキングポリシーとうまく機能するように調整されています。

対象ユーザー

人型ロボットの研究者、ロボット工学者、開発者で、人間の動作データをロボットの指令に変換する必要がある方（リアルタイム遠隔操作（TWIST/TWIST2パイプラインなど）や、強化学習ポリシーのトレーニングデータ生成のため）。また、カスタム変換コードを書かずに既存の人間の動作データセットで新しいロボットをテストしたい方にも役立ちます。

ハイライト

• リアルタイムで高品質なリターゲティングを実現し、全身の遠隔操作を可能にします。
• 強化学習トラッキングポリシーの優れたパフォーマンスのために慎重に調整されています。
• 17種類以上の人型ロボットと複数の動作データフォーマット（SMPL-X、BVH、FBX、Xsensなど）をサポートしています。
• 引数を1つ変更するだけで、ロボットを簡単に切り替えることができます。
• バッチ処理、ビデオ録画、および他のフォーマット（MimicKit用のCSVなど）への変換ツールが含まれています。
• uv または conda/pip を介して Ubuntu 22.04/20.04 上で実行できるライブラリとスクリプトを提供します。