zju3dv/EasyMocap

해결하는 문제

EasyMocap은 마커 없는 인체 동작 캡처와 새로운 시점 합성을 위한 포괄적인 툴박스를 제공합니다. 피사체에 물리적 마커를 부착할 필요가 없으며, 다중 뷰 설정, 단일 인터넷 비디오, 거울이 포함된 비디오 등 다양한 비디오 소스에서 3D 신체, 손, 얼굴 포즈를 추출할 수 있습니다.

작동 원리

이 시스템은 파라메트릭 인체 모델(SMPL, SMPL-X, MANO 등)을 비디오 데이터에 피팅합니다. 소스에 따라 다음과 같은 기술을 사용합니다:

• 다중 뷰: 동기화된 카메라에 모델을 피팅하여 상세한 포즈를 캡처합니다.
• 인터넷 비디오: 2D 키포인트 추정(MediaPipe 또는 HRNet과 같은 도구 사용)과 CNN 초기화를 결합하여 3D 동작을 재구성합니다.
• 거울이 포함된 비디오: 거울에 비친 인체의 기하학적 구조를 특별히 처리하여 3D 포즈를 재구성합니다.
• 새로운 시점 합성: 암시적 신경 표현을 사용하여 희소한 뷰에서 동적인 인체의 새로운 시점을 생성합니다.

대상 사용자

이 도구는 고가의 마커 기반 하드웨어 없이 RGB 비디오에서 인체 움직임을 캡처해야 하는 3D 비전, 컴퓨터 그래픽스, 애니메이션 분야의 연구자 및 개발자를 위해 설계되었습니다.

주요 특징

• 다양한 입력: 다중 뷰, 단일 뷰 인터넷 비디오, 거울이 포함된 비디오 지원.
• 포괄적인 모델 지원: 전신, 손, 얼굴 캡처를 위해 SMPL, SMPL+H, SMPL-X 및 MANO 모델과 호환.
• 새로운 시점 합성: 희소한 다중 뷰 비디오에서 인간 상호작용의 새로운 시점을 합성하는 기능.
• 통합 도구: 카메라 보정, 3D 실시간 시각화, 바운딩 박스 및 키포인트 주석을 위한 내장 도구 포함.