ShenhanQian/VHAP
A complete head tracking pipeline from videos to NeRF/3DGS-ready datasets.
解决的问题
VHAP 解决了将 3D 人头模型对齐到视频序列的挑战，特别是在缺乏预定义特征点（如眼睛或鼻子）的区域，例如头发、耳朵、颈部和肩膀。
工作原理
它使用基于可微分网格光栅化的光度优化管道。系统采用一种扰动机制，在渲染过程中自适应地提取并注入区域外观先验信息。这使得模型能够基于外观一致性对特定区域进行对齐，而不仅仅依赖于特征点。它支持单目视频和多视角数据集，并集成了 FLAME 头部模型以进行形状和姿态估计。
适用人群
本工具专为从事 3D 头部追踪、数字人创建以及 NeRF/3DGS 类型应用（如创建逼真头像）的研究人员和开发者设计。
主要亮点
- 自适应外观先验：实现对头发、耳朵等无特征点区域的对齐。
- 多样的输入支持：支持单摄像头（单目）和多摄像头（多视角）视频序列。
- 可微分光栅化：利用光度优化管道实现高精度对齐。
- 头像集成：导出的追踪结果可直接用于生成 GaussianAvatars。
相关
- 项目
- 项目
- 项目
- 项目