patch-gg/anymove

解決する課題

AnyMove は、AI が生成した単一の動画を完全に関節化された3Dアニメーションに変換することで、複雑なリグ付き3Dクリーチャーのアニメーション化の難しさを解決します。2カメラ動画アプローチを使用して3D空間内の関節の動きを追跡し、手動でのフレームごとの編集を不要にします。

仕組み

このプロセスでは、単一のビデオフレーム内に2カメラ設定（正面ビューと側面ビュー）を使用します。カスタムトレーニングされた「関節リーダー」が両方のビューでクリーチャーの関節を識別します。各関節は両方のカメラ角度で同じ高さにあるため、システムはすべての関節の正確な3D位置を計算します。このデータを使用して、クリーチャーのデジタルスケルトンを各フレームの正しいポーズに曲げ、最終的にGLBファイルとしてエクスポートします。

対象ユーザー

このツールは、ドラゴン、クモ、悪魔などのカスタムクリーチャーを、従来のモーションキャプチャハードウェアや広範な手動キーフレームなしでアニメーション化したい3Dアーティスト、開発者、クリエイター向けです。Python、Blender、クラウドベースのAI生成サービスの使用に慣れたユーザー向けに設計されています。

ハイライト

• 1つのAI生成ビデオクリップを1分以内で3Dアニメーションに変換します。
• 翼、尾、複数の脚を持つ複雑なクリーチャーをサポートします。
• DINOv2ベースのビジョンモデルを使用して関節を高精度で追跡します。
• メッシュ準備、スケルトンリギング、自動モーションキャプチャを含むモジュラーパイプラインを提供します。
• AIコーディングアシスタントがセットアップとトラブルシューティングのプロセスをユーザーに案内できる「Agent Skills」を含みます。