zju3dv/animatable_nerf

해결하는 문제

이 프로젝트는 비디오에서 사실적이고 애니메이션 가능한 3D 디지털 인간 아바타를 생성하는 과제를 해결합니다. 새로운 보이지 않는 포즈로 포즈를 취할 수 있는 인체를 재구성할 수 있으며, 여러 시점에서 시각적 충실도를 유지합니다.

작동 방식

이 시스템은 암시적 신경 표현을 사용하여 인체를 모델링합니다. 여러 구현 변형을 제공합니다:

• Animatable NeRF: 볼륨 밀도와 색상을 모델링하기 위해 신경 방사 필드를 사용하는 원래 버전.
• NeRF-PDF: 신경 블렌드 가중치 필드를 포즈 종속 변위 필드로 대체한 버전.
• SDF-PDF (Animatable Neural Fields/SDF): 표준 NeRF 모델을 신경 표면 필드로 대체하고 볼륨 밀도 대신 부호 거리 함수(SDF)를 출력하며 변위 필드도 활용하는 버전.

이 모델들은 다중 뷰 비디오 데이터(Human3.6M 또는 ZJU-MoCap 등)에서 훈련되어 특정 인간 포즈에 맞게 변형될 수 있는 사람의 표준 표현을 학습합니다.

대상 사용자

주로 인체 모델링, 디지털 인간 합성 및 신경 렌더링에 중점을 둔 컴퓨터 비전 및 그래픽스 연구자와 개발자를 대상으로 합니다.

주요 기능

• 바닐라 NeRF 및 SDF 기반 신경 표면 필드를 포함한 여러 표현 유형을 지원합니다.
• 새로운 뷰를 생성하고 인간을 보이지 않는 포즈로 애니메이션화할 수 있습니다.
• 학습된 표현에서 포즈가 적용된 3D 메시를 생성하는 도구가 포함되어 있습니다.
• Human3.6M, ZJU-MoCap 및 SyntheticHuman++를 포함한 여러 데이터 세트에서 평가되었습니다.