ShenhanQian/VHAP
A complete head tracking pipeline from videos to NeRF/3DGS-ready datasets.
解決的問題
VHAP 解決了將 3D 人頭模型對齊至影片序列的挑戰，特別是在缺乏預先定義特徵點（如眼睛或鼻子）的區域，例如頭髮、耳朵、頸部和肩膀。
工作原理
它使用基於可微分網格光柵化的光度最佳化管道。系統採用一種擾動機制，在渲染過程中自適應地提取並注入區域外觀先驗。這使得模型能根據外觀一致性對特定區域進行對齊，而不僅僅依賴特徵點。它支援單鏡頭（單目）與多鏡頭（多視角）影片序列，並整合 FLAME 頭部模型以進行形狀與姿態估計。
適用對象
本工具專為從事 3D 頭部追蹤、數位人創建以及 NeRF/3DGS 類型應用（例如建立寫實頭像）的研究人員與開發者設計。
主要亮點
- 自適應外觀先驗：實現對頭髮、耳朵等無特徵點區域的對齊。
- 多樣的輸入支援：支援單鏡頭（單目）與多鏡頭（多視角）影片序列。
- 可微分光柵化：利用光度最佳化管道實現高精度對齊。
- 頭像整合：匯出的追蹤結果可直接用於產生 GaussianAvatars。
相關
- 專案
- 專案
- 專案
- 專案