3dgrut: 一个支持光线追踪反射和畸变相机效果的混合 Gaussian Splatting 框架

它解决了什么问题

3DGRUT 通过实现复杂光学现象（如反射、折射和阴影）的渲染，并支持具有滚动快门等时间相关效应的畸变相机，解决了传统 Gaussian Splatting (3DGS) 的局限性。它提供了一种在光线追踪的高视觉保真度和灵活性与光栅化速度之间取得平衡的方法。

它是如何工作的

该项目实现了三种不同但相关的渲染方法：

• 3D Gaussian Ray Tracing (3DGRT): 该方法不使用 splatting，而是对体积 Gaussian 粒子进行光线追踪。这允许实现二次射线（反射/折射）和复杂的相机畸变，尽管它需要专门的光线追踪硬件并且比光栅化慢。
• 3D Gaussian Unscented Transform (3DGUT): 该方法将对畸变相机和时间相关效应的支持引入到光栅化框架中，同时保持了高效率。
• 3DGRUT (Hybrid): 一种混合技术，通过光栅化渲染主射线（为了速度）并通过光线追踪渲染二次射线（为了视觉效果，如反射），结合了两者的优点。

适合人群

在 3D 场景重建、计算机图形学和神经渲染领域工作的研究人员和开发人员，他们需要模拟复杂的光照效果或处理非理想的相机硬件。

亮点

• 混合渲染: 结合了光栅化和光线追踪以优化性能和灵活性。
• 硬件加速: 针对带有 RT cores 的 NVIDIA GPU 进行了优化。
• 广泛的导出支持: 训练好的场景可以导出为 USD (ParticleField), NuRec USDZ (用于 Omniverse), 或 PLY 格式。
• 高级训练功能: 支持 MCMC densification, selective Adam optimization, 和 physically plausible image signal processing (PPISP)。