ShenhanQian/VHAP
A complete head tracking pipeline from videos to NeRF/3DGS-ready datasets.
해결하는 문제
VHAP은 눈이나 코와 같은 사전 정의된 랜드마크가 없는 영역(예: 머리카락, 귀, 목, 어깨)에서 3D 인간 머리 모델을 동영상 시퀀스에 정렬하는 문제를 해결합니다.
작동 방식
미분 가능한 메시 래스터라이제이션 기반의 광도 최적화 파이프라인을 사용합니다. 시스템은 렌더링 중에 지역적 외관 사전 지식을 적응적으로 추출하고 주입하는 편차 메커니즘을 활용합니다. 이로 인해 랜드마크에만 의존하지 않고, 외관의 일관성에 기반하여 특정 영역을 정렬할 수 있습니다. 단일 카메라(모노크롬) 및 다중 카메라(멀티뷰) 동영상 시퀀스를 모두 지원하며, 형태와 자세 추정에 FLAME 머리 모델을 통합합니다.
대상 사용자
3D 머리 추적, 디지털 인간 생성, NeRF/3DGS 스타일 애플리케이션(예: 사실적인 머리 아바타 생성)에 종사하는 연구자 및 개발자에게 적합합니다.
주요 특징
- 적응적 외관 사전 지식: 머리카락, 귀와 같은 랜드마크가 없는 영역의 정렬을 가능하게 합니다.
- 다양한 입력 지원: 단일 카메라(모노크롬) 및 다중 카메라(멀티뷰) 동영상 시퀀스를 모두 지원합니다.
- 미분 가능한 래스터라이제이션: 고정밀 정렬을 위한 광도 최적화 파이프라인을 사용합니다.
- 아바타 통합: 내보낸 추적 결과는 바로 GaussianAvatars 생성에 사용할 수 있습니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트