NVlabs/nvdiffrec

解决的问题

能够从多视角图像观测中提取高质量的三角形3D模型（包括材质和光照），并实现场景拓扑、表面外观和光照环境的联合优化。

工作原理

该系统使用可微分渲染流水线来优化3D资产。它采用可微分的四面体 marching（源自NVIDIA的Kaolin库），并支持FlexiCubes等高级等值面提取技术。为简化自动微分流程，提供了一个使用slangpy的版本，利用Slang的自动微分能力，而非手动编写的CUDA扩展。

适用人群

专为拥有高端NVIDIA GPU（具备大容量内存）的计算机视觉和3D图形领域的研究人员和开发者设计。

主要亮点

• 联合优化几何（拓扑）、材质和光照。
• 生成标准的三角形3D网格。
• 支持FlexiCubes以提升等值面提取效果。
• 与nvdiffrast和tiny-cuda-nn集成以提升性能。