phongdaot/MocapAnything

何を解決するか

MoCapAnything V2 は単一のモノクロ動画からエンドツーエンドのモーションキャプチャを可能にし、3Dジョイント回転をアニメーション用（BVH形式）に変換します。多くのモーションキャプチャツールとは異なり、人体に限定されず、テンプレート固有のボディモデルを必要とせずに、動物、物体、カスタムリグキャラクターなど任意のスケルトンをサポートします。

動作方法

このシステムは video2pose2rot と呼ばれるメインモデルを使用しています。これは1つのエンドツーエンドネットワークであり、ビデオシーケンスとリファレンススケルトンを入力として、2つの共同微調整されたサブタスクを通じてジョイント回転を生成します。

1. video2pose: 画像シーケンスとリファレンスポーズから3Dジョイント位置を予測します。
2. pose2rot: これらのジョイント位置をリファレンスポーズ-回転ペアに基づいてジョイント回転に変換します。

このアプローチはメッシュフリーであり、解析的逆運動学（IK）や複雑なメッシュベースのパイプラインを必要としないため、メッシュベースの代替手法と比較して約20倍高速です。

対象ユーザー

このツールは、実世界の動画から人間、動物、カスタムリグなどさまざまな3Dキャラクターにモーションを転送したいアニメーター、3Dアーティスト、研究者向けに設計されています。高価なモーションキャプチャ機器を必要としません。

特徴

• 任意のスケルトン対応: 動物、人間、カスタムFBXリグキャラクターに対応。
• エンドツーエンドパイプライン: ビデオからポーズ、そして回転へ直接BVH対応の回転を予測。
• 高いパフォーマンス: ジョイントを直接予測するため、メッシュベースのパイプラインよりも大幅に高速。
• カスタムリグ統合: ユーザーが独自のリグ付きFBXファイルを提供し、スケルトントポロジーやリファレンスポーズを生成できます。