AmmarkoV/SAM3DBody-cpp
Real-time 3D full-body reconstruction from a single camera, Multiperson BVH output, Pure C++ runtime, ONNX + ggml, 70-joint skeleton with hands.
해결 과제
이 프로젝트는 단안 영상에서 3D 인체 자세를 추정하기 위한 고성능 C++ 엔진을 제공합니다. 런타임에 Python이 필요하지 않으며, 개발자는 깊이 센서나 다중 카메라 설정 없이 표준 2D 이미지에서 직접 3D 신체 매개변수, 카메라 변환, 전신 메시를 추출할 수 있습니다.
작동 원리
이 파이프라인은 딥러닝 접근 방식을 사용하여 이미지 특징에서 직접 3D 신체 매개변수를 회귀합니다. 먼저 YOLO 모델이 프레임 내의 사람을 감지합니다. 그 후 DINOv2-ViT-H 백본이 이 크롭된 이미지를 공간 특징 맵으로 처리하고, Transformer 디코더가 이를 포즈 토큰으로 압축합니다. 마지막으로 특수 헤드가 자세, 모양, 카메라 매개변수를 계산하여 Linear Blend Skinning (LBS)을 통해 3D 메시를 생성합니다.
대상 사용자
3D 모션 캡처나 아바타 애니메이션을 C++ 애플리케이션, ROS 환경 또는 성능에 민감한 파이프라인에 통합해야 하는 개발자와 연구자를 위해 설계되었습니다. 특히 애니메이션 소프트웨어(예: Blender)용 BVH나 아바타 표현용 MPEG ARF와 같은 형식으로 모션 데이터를 내보내야 하는 사용자에게 매우 유용합니다.
주요 특징
- 핵심 C++ 추론 엔진은 런타임 시 Python 의존성이 전혀 없음.
- 다중 사용자 추적 및 표준 BVH 파일로의 모션 캡처 내보내기 지원.
- 전체 메시 및 애니메이션 스트리밍을 위한 MPEG Avatar Representation Format (ARF) 지원.
- CUDA 가속 GPU 추론 및 CPU 전용 폴백 모드를 포함한 유연한 하드웨어 지원.
- 기존 워크플로우에 쉽게 통합할 수 있는 Python 프론트엔드 및 바인딩 포함.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트