openxrlab/xrmocap

해결하는 문제

XRMoCap은 멀티뷰 모션 캡처(mocap)를 간소화하기 위해 설계된 PyTorch 기반 툴박스로, 여러 대의 보정된 카메라에서 3D 인체 포즈와 형태를 추정할 수 있게 합니다. 단일 인물 및 다중 인물 시나리오 모두를 위한 통합 프레임워크를 제공하며, 다양한 최신(SOTA) 기법을 지원합니다.

작동 방식

이 프로젝트는 최적화 기반 및 학습 기반 모션 캡처 알고리즘을 모듈형 프레임워크로 통합합니다. 3D 키포인트와 SMPL(-X)와 같은 파라메트릭 인체 모델이라는 두 가지 주요 모션 표현을 지원합니다. 이 시스템은 임의의 수(2대 이상)의 보정된 카메라를 처리할 수 있으며, 자동 카메라 선택 및 서로 다른 모션 표현 간의 변환 도구를 포함합니다.

대상 사용자

이 툴킷은 인체 인식, 3D 포즈 추정, 모션 캡처 분야의 연구원 및 엔지니어를 위한 것으로, 특히 새로운 mocap 알고리즘 프로토타이핑을 위한 표준화된 벤치마크와 유연한 파이프라인이 필요한 분들에게 적합합니다.

주요 특징

• 포괄적인 기법 지원: SMPLify, MvP, HuMMan MoCap과 같은 SOTA 기법을 재구현.
• 모듈형 아키텍처: 설정 파일을 통해 다양한 구성 요소를 선택하여 mocap 파이프라인을 사용자 정의 가능.
• 이중 표현: 키포인트 기반 및 파라메트릭 인체 모델 기반(SMPL/SMPL-X) 추정을 모두 지원.
• 다중 인물 처리 능력: 멀티뷰 설정을 사용하여 장면 내의 단일 인물 및 다중 인물을 처리.
• 통합 벤치마크: Campus, Shelf, CMU Panoptic와 같은 여러 표준 데이터셋에 대한 지원 포함.