zju3dv/animatable_nerf

它解決了什麼

此項目解決了從影片創建逼真、可動畫化的3D數字人形化身的挑戰。它允許重建一個可以在新的、未見過的姿勢下擺姿勢的人體，同時保持從多個視角觀看的視覺保真度。

它是如何運作的

該系統使用隱式神經表示來建模人體。它提供了幾種實現變體：

• Animatable NeRF：原始版本，使用神經輻射場來建模體積密度和顏色。
• NeRF-PDF：一種將神經混合權重場替換為依賴姿勢的位移場的版本。
• SDF-PDF（Animatable Neural Fields/SDF）：一種將標準NeRF模型替換為神經表面場的版本，輸出有符號距離函數（SDF）而不是體積密度，也利用位移場。

這些模型在多視圖影片數據（如Human3.6M或ZJU-MoCap）上訓練，以學習一個人的標準表示，該表示可以變形以匹配特定的人體姿勢。

適合誰

這主要適用於計算機視覺和圖形學領域的研究人員和開發者，專注於人體建模、數字人合成和神經渲染。

亮點

• 支持多種表示類型，包括vanilla NeRF和基於SDF的神經表面場。
• 能夠生成新視圖並將人類動畫化為未見過的姿勢。
• 包含從學習的表示生成帶姿勢的3D網格的工具。
• 在幾個數據集上進行了評估，包括Human3.6M、ZJU-MoCap和SyntheticHuman++。