PozzettiAndrea/ComfyUI-MotionCapture

해결하는 문제

ComfyUI 생태계 내에서 표준 동영상 파일에서 3D 인간 운동 및 골격 데이터를 추출할 수 있게 해줍니다. 이를 통해 사용자는 3D 애니메이션이나 디지털 캐릭터에 현실적인 인간 움직임을 캡처할 수 있습니다.

작동 방식

이 프로젝트는 GVHMR(Geometry- and Vision-based Human Motion Recovery) 프레임워크를 기반으로 한 ComfyUI용 커스텀 노드 세트를 구현합니다. 최신 포즈 추정 도구인 ViTPose와 HMR2를 활용하여 동영상 입력에서 SMPL 및 SMPL-X 신체 모델 파라미터를 추출합니다.

대상 사용자

ComfyUI를 사용하고 실제 영상 자료를 3D 골격 운동 데이터로 변환할 필요가 있는 디지털 아티스트, 애니메이터, AI 영상 제작자.

주요 특징

• 동영상에서 3D 인간 운동 캡처.
• 월드 기반 운동 복원을 위한 GVHMR 프레임워크 기반.
• SMPL 및 SMPL-X 신체 모델 파라미터 지원.
• ComfyUI용 커스텀 노드 패키지로 통합.