3dgrut: 一個支援光線追蹤反射與扭曲相機效果的混合式 Gaussian Splatting 框架

它解決了什麼問題

3DGRUT 透過實現複雜光學現象（如反射、折射與陰影）的渲染，並支援具有滾動快門等隨時間變化效果的扭曲相機，解決了傳統 Gaussian Splatting (3DGS) 的局限性。它提供了一種在光線追蹤的高視覺保真度與靈活性，以及光柵化速度之間取得平衡的方法。

運作原理

該專案實現了三種不同但相關的渲染方法：

• 3D Gaussian Ray Tracing (3DGRT): 此方法不使用 splatting，而是對體積 Gaussian 粒子進行光線追蹤。這允許進行次級光線（反射/折射）與複雜的相機扭曲，儘管這需要專用的光線追蹤硬體且速度比光柵化慢。
• 3D Gaussian Unscented Transform (3DGUT): 此方法將對扭曲相機與隨時間變化效果的支援引入光柵化框架中，並保持高效率。
• 3DGRUT (Hybrid): 一種混合技術，透過光柵化渲染主光線（為了速度），並透過光線追蹤渲染次級光線（為了反射等視覺效果），結合了兩者的優點。

對象是誰

從事 3D 場景重建、電腦圖形學與神經渲染的研究人員與開發者，他們需要模擬複雜的光照效果或處理非理想的相機硬體。

重點亮點

• 混合式渲染: 結合光柵化與光線追蹤以優化效能與靈活性。
• 硬體加速: 針對具有 RT cores 的 NVIDIA GPUs 進行了優化。
• 廣泛的匯出支援: 訓練後的場景可以匯出為 USD (ParticleField)、NuRec USDZ (用於 Omniverse) 或 PLY 格式。
• 進階訓練功能: 支援 MCMC densification、選擇性 Adam 優化，以及物理上合理的影像訊號處理 (PPISP)。