apple-aiml-research/ml-neuman

해결하는 문제

NeuMan은 단일 입력 영상에서 정적 배경 장면과 동적이고 애니메이션 가능한 인체를 재구성하는 과제를 해결합니다. 이를 통해 원래 환경 내에서 사람의 새로운 시점과 새로운 자세를 합성할 수 있습니다.

작동 방식

이 시스템은 Neural Radiance Fields (NeRF)를 사용하여 장면을 표현합니다. 재구성을 두 부분으로 나눕니다: 배경 장면용 NeRF와 인체용 NeRF입니다. 인체 모델은 SMPL(파라메트릭 인체 모델)과 통합되어 애니메이션 및 자세 변경이 가능하게 하며, 원본 영상에 등장하지 않은 자세로 사람을 렌더링할 수 있게 합니다.

대상 사용자

이 프로젝트는 컴퓨터 비전, 3D 재구성, 신경 렌더링 분야에서 일하는 연구자 및 개발자들을 위한 것으로, 특히 인간 중심의 장면 합성에 관심 있는 분들에게 적합합니다.

주요 특징

• 단일 영상 입력: 단 하나의 영상으로 전체 3D 장면과 인체를 재구성합니다.
• 애니메이션 가능한 인체: SMPL 가중치를 사용하여 새로운 자세 합성 지원.
• 구성적 합성: 여러 재구성된 인물을 하나의 장면에 렌더링할 수 있습니다 (텔레가더링).
• 새로운 시점 합성: 표준 및 자세가 지정된 인체에 대한 360도 시점 생성.