kimodo: 制御可能な3D人間およびロボットのモーション生成のための運動学的モーション拡散モデル

何を解決するか

Kimodoは、高品質で制御可能な3D人間およびロボットのモーション生成の難しさに取り組んでいます。自然言語による記述と正確な運動学的制約を組み合わせることで、ユーザーが複雑なアニメーションを作成することを可能にし、高レベルのテキストプロンプトと低レベルの物理的制御の間のギャップを埋めます。

仕組み

Kimodoは、700時間の光学式モーションキャプチャの膨大なデータセットで学習された運動学的モーション拡散モデルです。テキストプロンプトと一連の制約に基づいて、さまざまなスケルトン（SOMA, G1, SMPL-X）の3Dモーションを生成します。これらの制約には、全身のポーズのキーフレーム、エンドエフェクタの位置（手/足）、および地面平面上の2Dパスまたはウェイポイントが含まれます。

対象者

このツールは、ロボティクス、コンピュータアニメーション、および物理AIの分野で研究している研究者や開発者、特に物理ベースのポリシーをトレーニングするための合成モーションデータの生成や、高忠実度な3Dアニメーションの作成を必要とする人々を対象としています。

ハイライト

• マルチスケルトン対応: SOMA, Unitree G1, および SMPL-X スケルトンに対応しています。
• インタラクティブな作成: テキストプロンプトと運動学的制御を混合するためのタイムラインエディタを備えたウェブベースのデモが含まれています。
• ロボティクス統合: 可視化のための MuJoCo および 物理ベースのポリシーをトレーニングするための ProtoMotions と互換性があります。
• 包括的なベンチマーク: モーションの品質と制約の遵守を測定するための標準化された評価パイプラインとテストスイートを提供します。
• 柔軟な制御: エンドエフェクタ制御や2Dルート軌跡を含む、さまざまな制約をサポートしています。