MaxLiu22/Motion2MixamoRig

解決する課題

Motion2MixamoRigは、動画からの人間の動きや写真からの静止ポーズを、Adobe Mixamo用にリグされた3Dキャラクターに転送するプロセスを自動化します。AIを使用して骨格の動きを抽出し、標準的な3Dキャラクター形式にリターゲティングすることで、手動でのキーフレーム設定や複雑なモーションキャプチャの手間を省きます。

仕組み

このプロジェクトは、コマンドラインパイプライン（またはBlender拡張機能）を使用して入力メディアを処理します。まず、推論モデル（GVHMRなど）を使用して動画や画像から3Dの人体モーションデータを抽出します。次に、その動きをAdobe MixamoでリグされたFBXファイルのスケルトンにマッピングします。最終的な出力は、UnityなどのゲームエンジンやBlenderなどの3Dソフトウェアですぐに使用できるスキン付きの .glb ファイルであり、結果を示すプレビュー動画や画像も生成されます。

対象ユーザー

このツールは、プロ仕様のモーションキャプチャハードウェアを必要とせずに、現実世界の動きを3Dキャラクターに素早く適用したいゲーム開発者、3Dアニメーター、デジタルアーティスト向けに設計されています。

ハイライト

• デュアルインターフェース: 開発者向けのコマンドラインツールと、コーディング不要のユーザーフレンドリーなBlender拡張機能の両方を提供します。
• 多様な入力: 動画クリップと静止写真の両方をサポートし、3Dキャラクターアニメーションを生成します。
• 効率的なワークフロー: 抽出された骨格モーションデータ（.npz ファイル）を再利用できるため、重い推論ステップを再実行することなく、同じ動きを異なるキャラクターモデルに素早く適用できます。
• すぐに使える出力: 主要な3Dソフトウェアやゲームエンジンと互換性のある標準的な .glb ファイルを生成します。