squall01337/mixamo-llm-mocap

何を解決するか

このプロジェクトでは、ロックカメラで撮影された動画（実写またはAI生成）を、任意のMixamoキャラクター向けのクリーンな前方運動学（FK）アニメーションに変換できます。高価なモーションキャプチャスーツや手動キーフレーム作業の必要を排除し、戦闘や複数人によるインタラクションなど複雑な動きを正確に処理しながら、標準的なMixamoワークフローと互換性のあるスクリプタブルなアニメーションを生成します。

動作の仕組み

このパイプラインは、動画からSMPL-Xの関節回転を復元するためのポーズ推定器（GVHMR）を使用します。その後、選択したキャラクターの特徴に合わせてこれらの回転をMixamoリグにリターゲットします。以下のリファインメント技術を採用しています：

• 足着地処理：検出器、物理法則、床制約の組み合わせにより「足のスケート」を防ぎ、足が床の上に保たれるようにします。
• 手の追跡：手の部分をクロップ・ズームして、握り拳や開いた掌を検出します。ベースの推定器には指のデータがないためです。
• 軌道回復：静止カメラの位置を復元し、高さや水平方向のずれを除去します。
• 複数人対応：1つの動画を2人のパフォーマーに分離し、それぞれ異なるキャラクターにリターゲット。Blenderで空間関係とメッシュ衝突を検証します。
• QAループ：最終レンダリング前に、骨の爆発、ヒップのポップ、オリジナル動画との忠実度を数値的に評価するゲートを設けています。

対象ユーザー

• 3Dアニメーター：Mixamoキャラクターを使い、動画からモーションキャプチャを自動化したい人。
• AIコンテンツクリエイター：AIで生成した動画を制御可能な3Dアニメーションに変換したい人。
• ゲーム開発者：異なる体型のキャラクター向けに、迅速かつ高忠実度のFKアニメーションが必要な人。
• AIエージェント：CLIおよびソケット呼び出しに対応しており、AIエージェントでも操作可能に設計されています。

特徴

• キャラクター非依存：セットアップスクリプトで骨長とリスタポを測定することで、任意のMixamoキャラクターに対応可能。
• 純粋なFK出力：30fpsでクォータニオンを出力し、ほとんどのMixamoスタイルワークフローと互換性があり、後処理不要。
• 数値ベースのQA：「感覚ベース」のレビューを置き換え、動画のキーポイントと比較して肢や頭部の角度を数値で評価。
• 複数キャラクター間インタラクション：特に2人による戦闘を扱い、異なるキャラクターメッシュ間の距離と衝突検出を管理。