AmyangXYZ/reze-mipo

解決的問題

Reze MiPo 是一個即時動作捕捉系統，允許使用者透過網路攝影機驅動 MMD（MikuMikuDance）角色。無需複雜設定或特定的 T 姿勢，使用者可記錄全身、雙手與面部表情的動作，並以 .vmd 動畫檔格式匯出，供 MMD 軟體使用。

工作原理

系統在 Web Worker 中執行 MediaPipe HolisticLandmarker，從網路攝影機影像中偵測 3D 點。接著透過自訂求解器，將這些點轉換為 MMD 特定的骨骼旋轉（四元數）與變形（混合形狀）。

主要技術實作包括：

• 自動校準：求解器在載入模型時自動校準至其靜止姿態，無需手動設定即可適用於任何 PMX 模型。
• 擺動-扭轉分解：為減少閃爍與雜訊，將骨骼旋轉分解為擺動與扭轉分量，並對扭轉分量應用專用濾波器。
• 高階濾波：採用 One-Euro 濾波器進行平滑處理，對匯出檔案使用 Savitzky-Golay 濾波器減少抖動，並對地標 Z 通道應用特定低通濾波器。
• 碰撞避免：利用模型自身的物理胶囊，確保肢體不會穿透角色胸部。
• 時間插值：在捕捉幀率僅為 30 Hz 的情況下，透過插值生成 60 FPS 的流暢動作。

適用對象

希望以快速、瀏覽器為基礎的方式捕捉人體動作，並轉換為高品質 MMD 動畫，而無需昂貴硬體的數位藝術家、MMD 動畫師與內容創作者。

主要亮點

• 全身捕捉：同時追蹤身體、雙手（每隻手 21 點）與面部。
• 零設定設定：載入時自動校準至靜止姿態，可直接用於任意 PMX 模型。
• 瀏覽器運行：使用 WebGPU 進行渲染，MediaPipe 進行偵測，完全在瀏覽器中執行。
• VMD 匯出：以 .vmd 檔案格式儲存，與任何機器產生的檔案完全一致。
• 高保真動作：包含前臂扭轉、肩膀抬升與脊椎彎曲，使動作更自然。