apple-aiml-research/ml-hugs

해결하는 문제

HUGS는 단일 비디오 소스에서 정적 배경 장면과 애니메이션 가능한 인체 모델을 동시에 재구성하는 문제를 해결합니다. 이는 장면의 맥락을 유지하면서 새로운 자세로 애니메이션 가능한 3D 표현을 생성할 수 있도록 합니다.

작동 방식

이 시스템은 신경 렌디언스 필드와 가우시안 스플래터링을 사용합니다. 인간과 장면을 함께 최적화하는 방식, Triplane+MLP 모델을 사용해 인간에만 집중하는 방식, 또는 장면에만 집중하는 방식의 세 가지 다른 학습 모드로 훈련할 수 있습니다. 인간의 기하학을 처리하기 위해 SMPL 신체 모델을 활용하며, AMASS와 같은 데이터셋과 통합하여 새로운 애니메이션을 렌더링할 수 있습니다.

대상 사용자

이 프로젝트는 컴퓨터 비전 및 3D 재구성 분야의 연구자와 개발자들을 대상으로 하며, 재구성된 환경 내에서 애니메이션 가능한 디지털 인간을 만들고자 하는 사람들을 위한 것입니다.

주요 특징

• 단일 비디오에서 인간과 배경을 동시에 재구성 가능.
• 외부 모션 캡처 데이터를 사용해 새로운 애니메이션 렌더링 지원.
• 공동, 인간 전용, 장면 전용 최적화를 위한 유연한 학습 모드.
• 인간 표현을 위한 Triplane+MLP 모델 구현.