jasongzy/Make-It-Animatable

해결하는 문제

Make-It-Animatable (MIA)는 애니메이션 대응 3D 캐릭터를 생성하기 위한 효율적인 프레임워크를 제공합니다. 전통적으로 3D 아티스트가 수작업으로 수행하던 리깅(골격 구조(뼈) 생성 및 메시의 어떤 부분이 어떤 뼈와 함께 움직이는지 정의하는 스킨웨이트 할당) 과정을 자동화합니다.

작동 방식

이 프레임워크는 신경망을 사용하여 애니메이션에 필요한 요소인 관절 위치, 스킨웨이트, 포즈를 예측합니다. 최신 버전(v2)에서는 메시 입력을 처리하고 이러한 애니메이션 파라미터를 예측하기 위해 Hunyuan3D 2.1 ShapeVAE 백본을 활용합니다. 시스템은 Mixamo와 같은 데이터셋에서 학습하여 3D 형태를 골격 구조로 매핑하는 방법을 학습할 수 있습니다.

대상 사용자

정적 3D 메시를 표준 골격 애니메이션 파이프라인으로 사용 가능한 캐릭터로 신속하게 변환해야 하는 3D 아티스트, 게임 개발자, 컴퓨터 비전 및 그래픽스 분야의 연구자.

주요 특징

• 자동 리깅: 3D 메시 입력에서 직접 관절과 스킨웨이트를 예측.
• Blender 통합: Blender 내에서 포스트프로세싱 및 글로벌 변환 복원을 위한 도구 포함.
• 일반화 능력: 3DBiCar 데이터셋을 포함한 다양한 데이터셋에서 학습되어 비정상적인 신체 비율의 캐릭터도 처리 가능.
• 효율적인 학습: 웨이트, 뼈, 포즈를 별도로 학습 가능하여 VRAM 사용량 최적화 및 유연성 향상.