AmyangXYZ/reze-mipo

解决的问题

Reze MiPo 是一个实时动作捕捉系统，允许用户使用网络摄像头驱动 MMD（MikuMikuDance）角色。无需复杂的配置或特定的 T 姿势，用户可以记录全身、双手和面部表情的动作，并将其导出为 .vmd 动画文件，用于 MMD 软件中。

工作原理

系统在 Web Worker 中运行 MediaPipe HolisticLandmarker，从网络摄像头视频流中检测 3D 点。然后通过自定义求解器将这些点转换为 MMD 特定的骨骼旋转（四元数）和变形（混合形状）。

关键技术实现包括：

• 自动校准：求解器在加载模型时自动校准至其静止姿态，无需手动设置即可适配任意 PMX 模型。
• 摆动-扭转分解：为减少闪烁和噪声，将骨骼旋转分解为摆动和扭转分量，并对扭转分量应用专用滤波器。
• 高级滤波：采用 One-Euro 滤波器进行平滑处理，对导出文件使用 Savitzky-Golay 滤波器减少抖动，并对地标 Z 通道应用特定低通滤波器。
• 碰撞避免：利用模型自身的物理胶囊，确保肢体不会穿透角色胸部。
• 时间插值：在捕捉帧率仅为 30 Hz 的情况下，通过插值生成 60 FPS 的流畅动作。

适用人群

希望以快速、浏览器为基础的方式捕捉人体动作，并将其转换为高质量 MMD 动画，而无需昂贵硬件的数字艺术家、MMD 动画师和内容创作者。

主要亮点

• 全身捕捉：同时追踪身体、双手（每只手 21 个点）和面部。
• 零配置设置：加载时自动校准至静止姿态，可直接用于任意 PMX 模型。
• 浏览器运行：使用 WebGPU 进行渲染，MediaPipe 进行动作检测，完全在浏览器中运行。
• VMD 导出：导出的动画以 .vmd 文件格式保存，与任何机器生成的文件完全一致。
• 高保真动作：包含前臂扭转、耸肩和脊柱弯曲，使动作更自然。