nghorbani/human_body_prior

해결하는 문제

인간의 3차원 자세를 모델링하는 것은 차원이 높고 복잡하기 때문에 어렵습니다. 이 프로젝트는 유효한 인간 자세의 분포를 정의하는 방법을 제공하여, 불가능한 신체 자세는 처벌하고 자연스러운 자세는 수용할 수 있게 합니다. 이는 특히 3차원 신체 모델을 2차원 이미지나 3차원 모션 캡처 마커에 맞추는 등의 역운동학(IK) 작업에 유용합니다.

작동 방식

VPoser는 막대한 양의 인간 모션 캡처 데이터를 포함한 AMASS 데이터셋에서 훈련된 변분 오토인코더(VAE)입니다. SMPL 신체 자세의 저차원 잠재 표현을 학습합니다. 엔드투엔드 미분 가능하기 때문에 최적화 프로세스를 안내하는 사전 분포로 사용할 수 있으며, 결과적으로 얻어진 신체 자세가 해부학적으로 타당하게 유지되도록 보장합니다.

대상 사용자

3차원 인간 신체 모델링, 컴퓨터 비전, 모션 캡처에 종사하는 연구자 및 개발자, 특히 SMPL 신체 모델 계열을 사용하는 사람들에게 적합합니다.

주요 특징

• 미분 가능한 사전: 최적화 파이프라인에 원활하게 통합할 수 있습니다.
• 역운동학 엔진: 배치 처리와 유연한 키포인트 정의(3차원 관절 또는 2차원 이미지 점)를 지원하는 포괄적인 IK 엔진을 포함합니다.
• 저차원 표현: 인간 자세의 복잡한 고차원 공간을 더 다룰 수 있는 잠재 공간으로 단순화합니다.
• 관절 상관관계 모델링: 신체 내 다양한 관절이 서로 어떻게 움직이는지를 효과적으로 포착합니다.