NVlabs/nvdiffrec

解決的問題

能夠從多角度影像觀測中提取高品質的三角形3D模型（包含材質與光照），並實現場景拓撲、表面外觀與光照環境的聯合最佳化。

工作原理

此系統使用可微分渲染流程來最佳化3D資產。它採用可微分的四面體 marching（源自NVIDIA的Kaolin庫），並支援FlexiCubes等進階等值面提取技術。為簡化自動微分流程，提供一個使用slangpy的版本，利用Slang的自動微分能力，而非手動撰寫的CUDA擴展。

適用對象

專為擁有高階NVIDIA GPU（具備大容量記憶體）的電腦視覺與3D圖形領域的研究人員與開發者設計。

主要亮點

• 聯合最佳化幾何（拓撲）、材質與光照。
• 產生標準的三角形3D網格。
• 支援FlexiCubes以提升等值面提取效果。
• 與nvdiffrast和tiny-cuda-nn整合以提升效能。