phongdaot/MocapAnything

해결하는 문제

MoCapAnything V2는 단일 모노크롬 영상에서 에ンド투엔드 모션 캡처를 가능하게 하며, 이를 3D 관절 회전으로 변환하여 애니메이션에 사용할 수 있는 BVH 형식으로 제공합니다. 많은 모션 캡처 도구와 달리 인간 몸체에 국한되지 않고, 템플릿 전용 신체 모델이 필요 없이 동물, 물체, 사용자 정의 리깅 캐릭터 등 임의의 스켈레톤을 지원합니다.

작동 방식

이 시스템은 video2pose2rot라고 불리는 주요 모델을 사용합니다. 이는 단일한 에ンド투엔드 네트워크로, 비디오 시퀀스와 참조 스켈레톤을 입력으로 받아 두 가지 공동으로 미세 조정된 하위 작업을 통해 관절 회전을 생성합니다.

1. video2pose: 이미지 시퀀스와 참조 포즈를 기반으로 3D 관절 위치를 예측합니다.
2. pose2rot: 이러한 관절 위치를 참조 포즈-회전 쌍을 기반으로 관절 회전으로 변환합니다.

이 접근 방식은 메시 기반의 해석적 역운동학(IK)이나 복잡한 메시 기반 파이프라인을 필요로 하지 않아, 메시 기반 대안 대비 약 20배 빠릅니다.

대상 사용자

이 도구는 고가의 모션 캡처 장비 없이도 실제 영상에서 인간, 동물, 사용자 정의 리그 캐릭터 등 다양한 3D 캐릭터로 모션을 전달하고자 하는 애니메이터, 3D 아티스트, 연구자에게 적합합니다.

주요 특징

• 임의의 스켈레톤 지원: 동물, 인간, 사용자 정의 FBX 리깅 캐릭터 모두 지원.
• 에ンド투엔드 파이프라인: 비디오 → 포즈 → 회전으로 직접 BVH 준비된 회전을 예측.
• 고성능: 관절을 직접 예측하기 때문에 메시 기반 파이프라인보다 훨씬 빠릅니다.
• 사용자 정의 리그 통합: 사용자가 자신의 리깅된 FBX 파일을 가져와 스켈레톤 토폴로지와 참조 포즈를 생성할 수 있습니다.