facebookresearch/spider

解決する課題

SPIDERは、物理ベースのリターゲティングのための汎用フレームワークを提供し、人間の動画から得られた動作を、器用な手や人型ロボットを含む多様なロボットの身体に転送することを可能にします。これは、物理的な構造や制約が異なるロボットハードウェアに対して、人間の動きをマッピングするという課題に対処します。

仕組み

このフレームワークは、物理情報を活用したパイプラインを使用して、人間の動画データをロボットの動作に変換します。プロセスには、生のデータセットを統一されたスキーマに処理する、オブジェクトの分解、接触の検出、シーンXMLの生成、そして運動学的および物理ベースのリターゲティングの実行といった複数のステップが含まれます。複数のシミュレーター（Mujoco Wrap、Genesis、IsaacGymなど）をサポートしており、強化学習（RL）や行動クローン（BC）のためのさまざまな下流のトレーニングパイプラインと統合されています。

対象ユーザー

このツールは、器用な操作や人型ロボットの制御に取り組むロボット工学の研究者や開発者、特に人間のデモンストレーションを実行可能なロボットの軌道に変換したいと考えている方向けに設計されています。

ハイライト

• 幅広い身体サポート: 9種類以上のロボットと6つのデータセットをすぐに利用可能。
• 物理ベース: 器用な手と人型ロボットの両方に対応した、初の汎用的な物理ベースのリターゲティングパイプライン。
• Sim2Real対応: 現実世界のロボットへの展開を想定して設計。
• 柔軟な統合: 複数のシミュレーターをネイティブサポートし、RLトレーニングやデータ拡張とのシームレスな統合が可能。