MaxLiu22/Motion2MixamoRig

해결하는 문제

Motion2MixamoRig는 비디오의 인간 움직임이나 사진의 정적 포즈를 Adobe Mixamo용으로 리깅된 3D 캐릭터로 전송하는 과정을 자동화합니다. AI를 사용하여 골격 움직임을 추출하고 표준 3D 캐릭터 형식으로 리타겟팅함으로써 수동 키프레임 작업이나 복잡한 모션 캡처의 번거로움을 제거합니다.

작동 방식

이 프로젝트는 명령줄 파이프라인(또는 Blender 확장 프로그램)을 사용하여 입력 미디어를 처리합니다. 먼저 추론 모델(예: GVHMR)을 사용하여 비디오나 이미지에서 3D 인간 모션 데이터를 추출합니다. 그런 다음 이 움직임을 제공된 Mixamo 리깅 FBX 파일의 스켈레톤에 매핑합니다. 최종 출력물은 Unity와 같은 게임 엔진이나 Blender와 같은 3D 소프트웨어에서 바로 사용할 수 있는 스킨이 적용된 .glb 파일이며, 결과물을 보여주는 미리보기 비디오나 이미지도 함께 생성됩니다.

대상 사용자

이 도구는 전문 모션 캡처 장비 없이도 실제 인간의 움직임을 3D 캐릭터에 빠르게 적용하고자 하는 게임 개발자, 3D 애니메이터, 디지털 아티스트를 위해 설계되었습니다.

주요 특징

• 이중 인터페이스: 개발자를 위한 명령줄 도구와 코딩을 모르는 사용자를 위한 사용자 친화적인 Blender 확장 프로그램을 모두 제공합니다.
• 다양한 입력: 비디오 클립과 정적 사진을 모두 지원하여 3D 캐릭터 애니메이션을 생성합니다.
• 효율적인 워크플로우: 추출된 골격 모션 데이터(.npz 파일)를 재사용할 수 있어, 무거운 추론 단계를 다시 실행하지 않고도 동일한 움직임을 다른 캐릭터 모델에 빠르게 적용할 수 있습니다.
• 즉시 사용 가능한 출력: 주요 3D 소프트웨어 및 게임 엔진과 호환되는 표준 .glb 파일을 생성합니다.