nv-tlabs/3dgrut

解决的问题

3DGRUT 解决了传统高斯溅射（3DGS）和光线追踪的局限性。虽然 3DGS 速度快，但难以处理畸变相机（如滚动快门）和复杂的光照效果，而传统光线追踪虽然更灵活，但通常对实时应用来说太慢。3DGRUT 提供了一种混合方法，可渲染高质量的 3D 场景，支持复杂的相机畸变和二次光效（反射、折射和阴影）。

工作原理

该项目实现了三种不同的渲染技术：

• 3D 高斯光线追踪（3DGRT）：对体素高斯粒子进行光线追踪，支持畸变相机和用于复杂光现象的二次光线。
• 3D 高斯无迹变换（3DGUT）：基于光栅化的框架，支持畸变相机，同时保持光栅化的高效率。
• 3DGRUT：一种混合方法，通过光栅化渲染主光线（以提高速度），通过光线追踪渲染二次光线（以提高视觉保真度）。

适用人群

需要处理畸变相机输入或在基于高斯的场景中模拟真实光传输的 3D 重建、神经渲染和计算机图形学领域的研究人员和开发者。

主要亮点

• 混合渲染：结合光栅化和光线追踪，平衡性能与视觉质量。
• 畸变相机支持：处理滚动快门等时间依赖的复杂效果。
• 高级光照效果：高效模拟反射、折射和阴影。
• 可扩展框架：支持 Neural Harmonic Textures (NHT)、MCMC 密度化和物理上合理的 ISP 后处理。
• 生产就绪：支持导出为 USD (ParticleField)、PLY 和 NuRec 格式，可用于 NVIDIA Omniverse 等工具。