NVlabs/GEM-X

해결하는 문제

GEM-X는 이미지와 비디오에서 정확한 3D 인간 포즈 추정의 필요성을 해결하며, 신체 포즈, 손 포즈, 시간적 신체 움직임을 하나의 통합 프레임워크로 결합합니다. 전통적인 접근 방식은 종종 별도의 모델과 파이프라인을 요구합니다. GEM-X는 이러한 작업 전반에 걸쳐 추론, 훈련, 평가를 위한 단일 코드베이스를 제공하여 로보틱스, AR/VR, 비디오 분석과 같은 애플리케이션의 복잡성을 줄입니다.

작동 방식

프레임워크는 세 가지 모델로 구성됩니다: 신체 포즈와 손 포즈는 단일 이미지에서 3D 지오메트리를 재구성하고, 신체 움직임은 시간적 컨텍스트를 사용하여 단안 비디오에서 카메라 공간 및 월드 공간 인간 움직임을 추정합니다. 모든 모델은 SOMA 지오메트리에 의존합니다. pose-image, pose-video, motion-video, motion-cache의 네 가지 추론 모드가 있으며, 다양한 입력 유형과 처리 요구를 처리합니다. 훈련 및 미세 조정 워크플로우는 작업 간에 공유되며, 각 모델에 대해 사전 훈련된 체크포인트가 제공됩니다. 파이프라인에는 사람 감지, 손 추적, 접촉/IK 후처리와 같은 선택적 구성 요소가 포함됩니다.

대상 사용자

인간 포즈 추정, 로보틱스(Unitree G1과 같은 로봇으로의 모션 리타게팅 포함), AR/VR, 비디오 이해, 포즈 추정 시스템의 프로덕션 배포에 종사하는 연구자와 개발자. README는 또한 확장 가능한 배포를 위한 NVIDIA AI for Media와의 통합을 강조합니다.

하이라이트

• 신체 포즈, 손 포즈, 신체 움직임을 위한 통합 프레임워크로, 세 가지 모델과 네 가지 추론 모드를 제공합니다.
• 단일 이미지 신체 및 손 재구성, 단안 비디오에서의 시간적 신체 움직임.
• 유연한 손 입력: 제공된 박스 또는 RT-DETR 감지, ego/exo 처리 프로파일, 추적 및 평활화.
• 로보틱스 쇼케이스: SOMA Retargeter를 사용한 Unitree G1로의 모션 리타게팅.
• 세 가지 모델 모두에 대한 훈련 및 미세 조정 지원, 각 모델에 대한 사전 훈련된 가중치.
• 표준 벤치마크(MPJPE, PA-MPJPE, PVE) 및 네이티브 손 지표를 사용한 평가.
• ONNX/TensorRT 가속 추가(2025-06 기준).
• Apache 2.0 라이선스, 파일별 예외 포함.