AmyangXYZ/reze-mipo

何を解決するか

Reze MiPo は、ウェブカメラを使って MMD（MikuMikuDance）キャラクターをリアルタイムで操作できるモーションキャプチャシステムです。複雑な設定や特定の Tポーズを必要とせず、全身、手、顔の表情を記録し、.vmd アニメーションファイルとしてエクスポートできます。MMD ソフトウェアで使用可能です。

動作方法

システムは Web Worker 内で実行される MediaPipe HolisticLandmarker を使って、ウェブカメラからの映像から 3D ポイントを検出します。その後、カスタムソルバーによりこれらのポイントを MMD 固有のボーン回転（クォータニオン）とモーフ（ブレンドシェイプ）に変換します。

主な技術的実装は以下の通りです：

• 自動キャリブレーション：モデルのリストポーズに自動でキャリブレーションされるため、手動設定なしで任意の PMX モデルと連携可能。
• スイング・ツイスト分解：ちらつきやノイズを低減するため、ボーン回転をスイングとツイストに分離し、ツイストには専用フィルターを適用。
• 高度なフィルタリング：滑らかさを確保するため One-Euro フィルターを採用。エクスポート時にジッターを減らすために Savitzky-Golay フィルターを適用。ランドマークの Z チャンネルには特定のローパスフィルターを適用。
• コリジョン回避：モデル自身の物理カプセルを使って、腕がキャラクターの胸を貫通しないように制御。
• 時間的補間：30 Hz のキャプチャレートから 60 FPS の滑らかな動きを補間生成。

対象ユーザー

高品質な MMD アニメーションを、高価なハードウェアを使わず、迅速にブラウザ上でモーションキャプチャしたいデジタルアーティスト、MMD アニメーター、コンテンツクリエイター向けです。

特徴

• 全身キャプチャ：体、両手（各21点）、顔を同時に追跡。
• ゼロ設定セットアップ：ロード時にリストポーズに自動キャリブレーションされるため、任意の PMX モデルで即座に利用可能。
• ブラウザベース：WebGPU を使ってレンダリング、MediaPipe を使って検出。ブラウザ上で完結。
• VMD エクスポート：.vmd ファイルとして保存でき、あらゆるマシンで作成されたものと同一の形式。
• 高精度な動き：前腕のねじれ、肩の上げ下げ、脊椎の湾曲を含み、より自然な動きを再現。