HongwenZhang/PyMAF

해결하는 문제

PyMAF와 PyMAF-X는 단일 단안 이미지나 비디오에서 3D 인체 포즈와 형태를 정확하게 회귀하는 문제를 해결합니다. 이들은 재구성된 3D 인체 메시와 2D 이미지 입력 간의 정렬 및 정밀도를 향상시키는 것을 목표로 하며, 특히 PyMAF-X는 전신 모델 회귀에 중점을 둡니다.

작동 원리

이 프로젝트는 피라미드형 메시 정렬 피드백 루프 (Pyramidal Mesh Alignment Feedback Loop)를 활용하여 3D 인체 메시를 정교화합니다. SMPL 및 SMPL-X 인체 모델을 사용하여 인체의 형태와 포즈를 표현합니다. 이 시스템은 정지 이미지와 비디오를 모두 처리할 수 있으며 (단일 또는 다중 인물 지원), 사전 학습된 모델을 사용하여 이미지 특징을 3D 메시 매개변수로 매핑합니다.

대상 사용자

이 도구는 컴퓨터 비전, 3D 인체 재구성 및 인체 포즈 추정 분야의 연구자와 개발자를 위해 설계되었습니다.

주요 특징

• 전신 지원: PyMAF-X는 정렬이 잘 된 전신 모델 회귀로 기능을 확장합니다.
• 다양한 입력: 이미지와 비디오 입력을 모두 지원하며, 여러 사람이 포함된 장면도 처리 가능합니다.
• 고성능: AGORA Test (SMPL-X Whole-Body) 리더보드에서 2위를 기록했습니다.
• 피드백 루프: 피라미드형 메시 정렬 전략을 사용하여 재구성 정확도를 향상시킵니다.