zju3dv/animatable_nerf

它解决了什么

此项目解决了从视频创建逼真、可动画化的3D数字人形化身的挑战。它允许重建一个可以在新的、未见过的姿势下摆姿势的人体，同时保持从多个视角观看的视觉保真度。

它是如何运作的

该系统使用隐式神经表示来建模人体。它提供了几种实现变体：

• Animatable NeRF：原始版本，使用神经辐射场来建模体积密度和颜色。
• NeRF-PDF：一种将神经混合权重场替换为依赖姿势的位移场的版本。
• SDF-PDF（Animatable Neural Fields/SDF）：一种将标准NeRF模型替换为神经表面场的版本，输出有符号距离函数（SDF）而不是体积密度，也利用位移场。

这些模型在多视图视频数据（如Human3.6M或ZJU-MoCap）上训练，以学习一个人的标准表示，该表示可以变形以匹配特定的人体姿势。

适合谁

这主要适用于计算机视觉和图形学领域的研究人员和开发者，专注于人体建模、数字人合成和神经渲染。

亮点

• 支持多种表示类型，包括vanilla NeRF和基于SDF的神经表面场。
• 能够生成新视图并将人类动画化为未见过的姿势。
• 包含从学习的表示生成带姿势的3D网格的工具。
• 在几个数据集上进行了评估，包括Human3.6M、ZJU-MoCap和SyntheticHuman++。