zju3dv/EasyMocap

解决的问题

EasyMocap 提供了一个用于无标记人体动作捕捉和新视角合成的综合工具箱。它消除了在主体上放置物理标记的需求，允许用户从各种视频源（包括多视角设置、单一互联网视频以及包含镜像的视频）中提取 3D 身体、手部和脸部姿势。

工作原理

该系统将参数化人体模型（如 SMPL、SMPL-X 和 MANO）拟合到视频数据中。根据来源的不同，它使用不同的技术：

• 多视角： 将模型拟合到同步摄像机以捕捉详细姿势。
• 互联网视频： 结合 2D 关键点估计（通过 MediaPipe 或 HRNet 等工具）和 CNN 初始化来重建 3D 动作。
• 镜像视频： 特别处理镜中出现的人体几何结构以重建 3D 姿势。
• 新视角合成： 使用隐式神经表示从稀疏视角生成动态人体的新视角。

适用对象

此工具专为 3D 视觉、计算机图形学和动画领域的研究人员与开发者设计，他们需要在没有昂贵基于标记的硬件的情况下从 RGB 视频捕捉人体运动。

特点

• 多样化输入： 支持多视角、单视角互联网视频和镜像视频。
• 全面的模型支持： 兼容于 SMPL、SMPL+H、SMPL-X 和 MANO 模型，用于全身、手部和脸部捕捉。
• 新视角合成： 能够从稀疏的多视角视频中合成人类互动的新视角。
• 集成工具： 包含用于摄像机校准、3D 实时可视化以及边界框和关键点标注的内置工具。