blendi-remade/prompt2rig

解決する課題

3D キャラクターアニメーションの作成には通常、モーションキャプチャ機器、手動キーフレーム設定、または大規模なモーションライブラリの検索が必要です。prompt2rig はその摩擦を取り除きます：動きの説明を入力すると、ビデオモデルがそれを実行する人のクリップを生成し、GPU がそのクリップからクリーンな 3D ボディとハンドモーションを復元します。結果はブラウザ内の Mixamo キャラクターでライブ再生され、Blender または Unity にエクスポートできます。また、固定比率のボディにジョイント回転を出力するクリップ全体モデル（GVHMR）を使用することで、ジッター、手足の伸び、前腕のねじれなどの一般的なポーズ推定問題も解決します。

仕組み

1. プロンプトからビデオへ – プロンプトを入力（またはプリセットを選択）します。fal 上の高速ビデオモデル（品質重視なら FLUX 3 Max、速度重視なら H3 Max Turbo）が、パフォーマーが動きを演じる短いクリップを生成します。すべてのクリップは同じ生成パフォーマー画像から始まり、ポーズ推定がそれを好みます。
2. ライブプレビュー – クリップ生成中、MediaPipe Pose がブラウザで実行され、ポーズをフレームごとに Mixamo リグにリターゲットし、待ち時間をカバーする即時の大まかなプレビューを提供します。
3. 高品質モーションパス – ローカル GPU で、GVHMR がクリップ全体を一度に処理し、SMPL ボディ回転と重力対応ルートパスを出力します。並行して、WiLoR が各手の手のひらと全 15 指関節を推定します（MANO ハンドモデルを提供しない場合は MediaPipe Hands にフォールバック）。このパスは RTX 4090 で 5 秒クリップの場合約 3.5〜4 秒かかります。
4. リターゲットとエクスポート – モーションは任意の Mixamo キャラクター（X Bot、Michelle、Soldier、または独自の .fbx/.glb）にリターゲットされます。ストリームモードでクリップを連結し、キャラクターを切り替え、スキニングされたキャラクターをアニメーション付きで .glb ファイルとしてエクスポートできます。

対象ユーザー

• アニメーターとゲーム開発者：手動リギングなしでテキストプロンプトから素早くモーションアイデアを得たい方。
• Blender または Unity ユーザー：テキストからアニメーションキャラクターへの高速パイプラインが必要な方。
• クリエイター：AI 支援アニメーションを探求する方；このツールは Windows 11 と NVIDIA GPU でテストされています。
• 愛好家：Node.js と Python に慣れており、ローカルモーションワーカーを実行したい方。

ハイライト

• プロンプトのみのワークフロー – モーションキャプチャ機器や手動キーフレームは不要；動きを説明するだけです。
• クリップ全体のモーション復元 – GVHMR がクリップ全体を認識し、ジッターや手足のアーティファクトを回避し、重力対応ルートパスを復元します。
• 指トラッキング内蔵 – WiLoR が各手に手のひらと全 15 指関節を追加し、手が検出されない場合は自然なカールフォールバックを提供します。
• 生成中のライブプレビュー – ブラウザの MediaPipe が HQ モーション計算中に即時フィードバックを提供します。
• Mixamo 互換性 – 任意の Mixamo リグ（T ポーズ）で動作し、Blender または Unity に適したスキニング .glb ファイルをエクスポートします。
• ストリームモード – クリップを連続パフォーマンスに連結；各クリップは最後のフレームから続行します。
• 高速かつ最適化 – HQ ワーカーは単一人物生成クリップ向けに調整されています（RTX 4090 でクリップあたり 10 秒 → 3.4 秒）。
• 追加機能 – ヘッドレス Blender レンダリング、オフスクリーンキャプチャツール、ハンドポーズテストベンチ。
• ライセンス警告 – Web アプリとライブプレビューは Apache-2.0 ですが、HQ モーションパス（GVHMR、SMPL-X、WiLoR、MANO）は研究/非商用です；商用製品はそれらを置き換えるかライセンスを取得する必要があります。