phongdaot/MocapAnything

解决的问题

MoCapAnything V2 实现了从单个单目视频进行端到端动作捕捉，将其转换为可直接用于动画的 3D 关节旋转（BVH 格式）。与许多动作捕捉工具不同，它不限于人体；支持任意骨骼，包括动物、物体和自定义绑定角色，无需特定模板的体格模型。

工作原理

该系统使用一个名为 video2pose2rot 的主模型，这是一个单一的端到端网络。它通过两个联合微调的子任务，将视频序列和参考骨骼映射为关节旋转：

1. video2pose：根据图像序列和参考姿态，预测 3D 关节位置。
2. pose2rot：基于参考姿态-旋转对，将这些关节位置转换为关节旋转。

该方法无需网格，避免了对解析式逆运动学（IK）或复杂网格管道的依赖，因此比基于网格的替代方案快约 20 倍。

适用人群

本工具专为需要将现实世界视频中的动作转移到各种 3D 角色（人类、动物或自定义绑定）的动画师、3D 艺术家和研究人员设计，无需昂贵的动作捕捉设备。

主要亮点

• 任意骨骼支持：支持动物、人类以及自定义 FBX 绑定角色。
• 端到端流程：直接从视频到姿态再到旋转，预测出可直接用于 BVH 的旋转。
• 高性能：通过直接预测关节，显著快于基于网格的流程。
• 自定义绑定集成：允许用户导入自己的绑定 FBX 文件，以生成骨骼拓扑和参考姿态。