nv-tlabs/kimodo

解決する課題

Kimodoは、高品質で制御可能な3D人間およびロボットのモーション生成という課題に取り組んでいます。自然言語のテキストプロンプトと、関節位置、エンドエフェクタのターゲット（手足）、地面のパスといった精密な運動学的制約を組み合わせることで、特定の動きを作成できます。

仕組み

Kimodoは、大規模なモーションキャプチャデータセット（700時間のRigplayデータ）で学習された運動学的モーション拡散モデルです。テキストによる説明とオプションの空間的制約を入力として受け取り、拡散プロセスを通じてモーションシーケンスを反復的に洗練させます。SOMA (humanoid)、Unitree G1、SMPL-Xを含む複数のスケルトンタイプをサポートしており、ユーザーがモーションを作成・プレビューできるWebベースのインタラクティブなタイムラインエディタを提供します。

対象ユーザー

このプロジェクトは、シミュレーションや人形ロボットの制御ポリシー学習といった下流タスクのためにリアルなモーションデータを生成する必要がある、ロボティクス、キャラクターアニメーション、物理AI分野の研究者や開発者向けに設計されています。

ハイライト

• マルチモーダル制御: テキストからモーションへの生成と、キーフレームや2Dウェイポイントのようなきめ細かな運動学的制約を組み合わせます。
• インタラクティブなオーサリング: タイムラインベースのモーション編集とリアルタイム3D可視化のためのローカルWeb GUIが含まれています。
• ロボット互換性: MuJoCoやProtoMotionsのような他のロボットフレームワークと互換性のある形式への直接エクスポートをサポートしています。
• 標準化されたベンチマーク: モーションの品質と制約への追従精度を測定するための包括的な評価スイートとテストケースを提供します。
• 柔軟な推論: バッチ生成用の高レベルCLIと、カスタム統合用の低レベルPython APIの両方を提供します。