squall01337/mixamo-llm-mocap

解决的问题

该项目允许用户将锁定相机视频（无论是实拍还是AI生成）转换为任意Mixamo角色的干净前向运动学（FK）动画。它消除了对昂贵动捕服或手动关键帧的依赖，特别处理了战斗或多角色互动等复杂动作，同时确保生成的动画可脚本化，并与标准Mixamo工作流程兼容。

工作原理

该管道使用姿态估计算法（GVHMR）从视频帧中恢复SMPL-X关节旋转。然后将这些旋转重定向到Mixamo骨骼系统，并根据所选角色的具体比例进行调整。系统采用多种优化技术：

• 脚部着地处理：结合检测器、物理规则和地面约束，防止“脚滑”现象，确保脚始终位于地面之上。
• 手部追踪：裁剪并放大手部区域以检测拳头和张开手掌，因为基础估计算法缺乏手指数据。
• 轨迹恢复：恢复静止相机的位置，以消除高度和水平漂移。
• 多角色支持：可将单个视频拆分为两个表演者的独立轨迹，分别重定向到不同角色，并在Blender中验证其空间关系和网格碰撞。
• 质量保证循环：在最终渲染前，通过数值评估门控检查骨骼爆炸、髋部弹跳以及与原始视频的保真度。

适用人群

• 3D动画师：使用Mixamo角色并希望从视频自动完成动捕流程的人。
• AI内容创作者：生成AI视频并希望将其转换为可控制的3D动画的用户。
• 游戏开发者：需要为不同体型角色快速生成高保真度FK动画的开发者。
• AI代理：该管道支持CLI和Socket调用，可由AI代理操作。

核心亮点

• 角色无关性：通过设置脚本测量骨骼长度和静止姿态，可适配任意Mixamo角色。
• 纯FK输出：以30fps输出四元数，确保与大多数Mixamo风格工作流程兼容，无需后期清理。
• 数值化质量评估：用数值保真度检查替代“感觉式”审查，通过对比视频关键点测量肢体和头部角度。
• 多角色交互处理：专门处理双人打斗场景，管理不同角色网格间的分离与碰撞检测。