CuboiLeo/SuperMimic-Reproduced

解決する課題

このプロジェクトは、複雑な全身運動を実行するヒューマノイドロボットのトレーニングに焦点を当てた「SuperMimic」研究論文の、ゼロからの独立した再現を提供します。微分可能な世界モデルを使用することでヒューマノイド制御のスケーリングという課題に取り組み、ロボットがジャンプ、回転、クロールなどの多様な動作を大規模なモーションデータセットから直接学習できるようにします。

仕組み

このシステムは、微分可能な世界モデルを使用してロボットの環境をシミュレートし、将来の状態を予測します。BPTT (Backpropagation Through Time) を使用してポリシーをトレーニングすることで、ロボットはアクションシーケンスを「想像」し、参照モーションライブラリに対して最適化することで学習できます。この実装は MuJoCo Warp と mjlab 上に構築されており、カスタムモーションライブラリ、微分可能なキネマティクス、データ並列トレーニングを活用して、Unitree G1 ロボットで高いパフォーマンスを実現しています。

対象読者

このプロジェクトは、ヒューマノイドの全身制御、微分可能なシミュレーション、モデルベースの強化学習に関心のある研究者やロボットエンジニア向けです。SuperMimic 論文の結果を再現したり、その特定のトレーニングプロトコルや世界モデルアーキテクチャに基づいて構築したりしようとしている人々のためのリファレンス実装として機能します。

ハイライト

• 高性能な再現: BONES-SEED データセットで 0.930 の正規化リターンを達成し、論文のパフォーマンスに極めて近い結果を出しています。
• フルパイプライン実装: データ処理やモーションライブラリの構築から、微分可能な世界モデル、BPTT トレーナー、評価ベンチマークまで、すべてが含まれています。
• 最適化されたトレーニング: 複数の GPU にわたるデータ並列トレーニングをサポートし、RTX 5090 上で高いシミュレーション速度（約 2×10⁵ env-steps/s）を実現します。
• 透明性の高いドキュメント: 詳細なログ、設計上の決定事項、およびコードが元の研究論文のどのセクションに対応しているかの内訳を提供します。