squall01337/mixamo-llm-mocap

해결하는 문제

이 프로젝트는 락카메라로 촬영된 동영상(실사 또는 AI 생성)을 임의의 Mixamo 캐릭터용 깔끔한 전방 운동학(FK) 애니메이션으로 변환할 수 있게 해줍니다. 고가의 모션 캡처 수트나 수동 키프레임 작업이 필요 없으며, 특히 전투나 다수 인물 간 상호작용과 같은 복잡한 움직임을 처리하면서도, 표준 Mixamo 워크플로우와 호환되며 스크립트 가능한 애니메이션을 보장합니다.

작동 방식

이 파이프라인은 동영상에서 SMPL-X 관절 회전을 복원하기 위해 포즈 추정기(GVHMR)를 사용합니다. 이후 선택한 캐릭터의 특수한 비율에 맞게 이러한 회전을 Mixamo 릴에 리타겟합니다. 시스템은 다음과 같은 개선 기술을 활용합니다:

• 발 착지 처리: 검출기, 물리 법칙, 바닥 제약의 조합을 사용해 '발 슬라이딩'을 방지하고 발이 바닥 위에 머무르도록 합니다.
• 손 추적: 기존 추정기에서 손가락 데이터가 부족하므로, 손 부분을 자르고 확대하여 주먹과 손바닥을 열었는지 감지합니다.
• 궤도 복원: 정지된 카메라의 위치를 복원하여 높이 및 수평 이동을 제거합니다.
• 다중 인물 지원: 단일 동영상을 두 명의 연기자로 분리하여 각각 다른 캐릭터에 리타겟하고, Blender에서 공간 관계와 메시 충돌을 검증합니다.
• 품질 보증 루프: 최종 렌더링 전에 뼈 폭발, 허리 팝, 원본 동영상과의 일치도를 수치적으로 평가하는 게이트를 통과합니다.

대상 사용자

• 3D 애니메이터: Mixamo 캐릭터를 사용하면서 동영상을 기반으로 모션 캡처를 자동화하고 싶은 사람.
• AI 콘텐츠 제작자: AI로 생성한 동영상을 제어 가능한 3D 애니메이션으로 변환하고 싶은 사용자.
• 게임 개발자: 다양한 비율의 캐릭터용 빠르고 고정밀도의 FK 애니메이션을 필요로 하는 사람.
• AI 에이전트: CLI 및 소켓 호출을 지원하여 AI 에이전트가 직접 작동할 수 있도록 설계되었습니다.

주요 특징

• 캐릭터 독립성: 설정 스크립트를 통해 뼈 길이와 리스포즈를 측정함으로써, 임의의 Mixamo 캐릭터와 호환됩니다.
• 순수 FK 출력: 30fps에서 쿼터니언을 출력하여 대부분의 Mixamo 스타일 워크플로우와 호환되며, 정리 작업 없이 바로 사용 가능합니다.
• 수치 기반 QA: '감각 기반' 검토를 대체하여, 동영상 키포인트와 비교해 사지 및 머리 각도를 수치로 평가합니다.
• 다중 캐릭터 상호작용: 특히 두 명의 인물 간 전투를 처리하며, 서로 다른 캐릭터 메시 간의 거리와 충돌 감지를 관리합니다.