facebookresearch/MHR

해결하는 문제

MHR(Momentum Human Rig)는 고정밀도의 파라메트릭 3D 인간 몸체 모델을 제공합니다. 사용자는 신체 정체성, 전신 관절 운동(자세), 세부적인 얼굴 표정과 같은 특정 파라미터를 조절하여 현실적인 인간 메시를 생성할 수 있으며, 모든 인간의 변형을 수동으로 조각할 필요 없이 다양한 인간 모델을 쉽게 생성할 수 있습니다.

작동 방식

이 시스템은 인간의 형태를 정의하는 파라미터 세트를 사용합니다:

• 정체성: 신체, 머리, 손의 형태를 제어하는 45개의 파라미터.
• 자세: 관절 각도와 스케일링을 위한 204개의 파라미터로 신체의 움직임을 처리합니다.
• 얼굴 표정: FACS 기반의 72개의 의미적 블렌드쉐이프 가중치로 세밀한 얼굴 애니메이션을 구현합니다.
• 신경망 보정: 신경망 기반의 자세에 따라 변형되는 보정을 사용하여 움직임 중에도 메시가 자연스럽게 보이도록 합니다.
• 미분 가능한 파이프라인: PyTorch로 구현되어 미분 가능한 추론과 최적화를 지원하며, 손실 함수 기반으로 파라미터를 최적화할 수 있는 머신러닝 워크플로우에 통합할 수 있습니다.

대상 사용자

이 도구는 3D 인간 모델링, 컴퓨터 비전, 애니메이션 분야에서 연구 및 개발을 수행하는 연구자와 개발자에게 적합합니다. 인간 자세와 형태를 생성하거나 복원할 때 유연하고 미분 가능한 인간 뼈대가 필요한 분들에게 이상적입니다.

주요 특징

• 다중 LOD: 성능과 시각적 품질의 균형을 위해 7단계의 세부 수준(Lod 0–6)을 제공합니다.
• PyTorch 통합: GPU/CPU 가속과 표준 autograd를 지원하여 최적화에 적합합니다.
• TorchScript 지원: 외부 코드베이스나 자산 없이도 기본 추론에 사용할 수 있는 가벼운 모델 버전을 제공합니다.
• 상호 운용성: MHR과 SMPL, SMPL-X와 같은 일반적인 인간 모델 간의 변환 도구를 포함하고 있습니다.