HongwenZhang/PyMAF

[ICCV 2021, Oral] PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop

解决的问题

PyMAF 和 PyMAF-X 解决了从单张单眼图像或视频中精确回归 3D 人体姿势与形状的挑战。它们旨在提高重建的 3D 人体网格与 2D 图像输入之间的对齐度与精度,其中 PyMAF-X 特别专注于全身模型回归。

运作原理

该项目利用金字塔网格对齐反馈回路 (Pyramidal Mesh Alignment Feedback Loop) 来优化 3D 人体网格。它利用 SMPL 和 SMPL-X 人体模型来表示人体的形状与姿势。该系统可以处理静态图像与视频(支持单人或多人),并使用预训练模型将图像特征映射到 3D 网格参数。

适用对象

此工具专为从事计算机视觉、3D 人体重建以及人体姿势估计的研究人员与开发者所设计。

特色亮点

  • 全身支持:PyMAF-X 将能力扩展至对齐良好的全身模型回归。
  • 多样化输入:支持图像与视频输入,包括包含多人的场景。
  • 高性能:在 AGORA Test (SMPL-X Whole-Body) 排行榜上排名第二。
  • 反馈回路:采用金字塔网格对齐策略以提高重建准确度。

相关

  • 项目
  • 项目
  • 项目
  • 项目