nv-tlabs/3dgrut

解決的問題

3DGRUT 解決了傳統高斯點陣（3DGS）與光線追蹤的限制。雖然 3DGS 速度快，但難以處理畸變相機（如滾動快門）與複雜的光照效果，而傳統光線追蹤雖然更靈活，但通常對即時應用來說太慢。3DGRUT 提供了一種混合方法，可渲染高品質的 3D 場景，支援複雜的相機畸變與二次光效（反射、折射與陰影）。

工作原理

本專案實作了三種不同的渲染技術：

• 3D 高斯光線追蹤（3DGRT）：對體積式高斯粒子進行光線追蹤，支援畸變相機與複雜光現象的二次光線。
• 3D 高斯無跡變換（3DGUT）：基於光柵化的框架，支援畸變相機，同時保持光柵化的高效率。
• 3DGRUT：一種混合方法，透過光柵化渲染主光線（以提升速度），透過光線追蹤渲染二次光線（以提升視覺保真度）。

適用對象

需要處理畸變相機輸入或在基於高斯的場景中模擬真實光傳輸的 3D 重建、神經渲染與電腦圖形學領域的研究人員與開發者。

主要亮點

• 混合渲染：結合光柵化與光線追蹤，平衡效能與視覺品質。
• 畸變相機支援：處理滾動快門等時間相依的複雜效果。
• 進階光照效果：高效模擬反射、折射與陰影。
• 可擴展框架：支援 Neural Harmonic Textures (NHT)、MCMC 密度化與物理上合理的 ISP 後處理。
• 生產就緒：支援匯出為 USD (ParticleField)、PLY 與 NuRec 格式，可用於 NVIDIA Omniverse 等工具。