nv-tlabs/3dgrut
Ray tracing and hybrid rasterization of Gaussian particles
What it solves
本项目解决了传统 3D Gaussian Splatting（3DGS）的局限，特别是无法处理畸变相机（如滚动快门相机）以及难以渲染复杂光学现象（如反射、折射和阴影）。
How it works
项目实现了三种互补技术：
- 3D Gaussian Ray Tracing (3DGRT)：不使用 splatting，而是对体积高斯粒子进行光线追踪。此方式可以模拟次级光线（反射/折射）并支持复杂的相机畸变，但需要专用的光线追踪硬件。
- 3D Gaussian Unscented Transform (3DGUT)：基于光栅化的框架，在保持传统光栅化高效率的同时支持畸变相机。
- 3DGRUT：混合方法，使用光栅化处理主光线（提升速度），光线追踪处理次级光线（提升视觉复杂度）。
Who it’s for
它面向从事神经重建和 3D 场景渲染的研究人员和开发者，尤其需要支持非理想相机效果或高保真光学模拟的用户。
Highlights
- Hybrid Rendering：结合光栅化和光线追踪，以平衡性能和视觉质量。
- Hardware Acceleration：针对带有 RT 核心的 NVIDIA GPU 进行优化。
- Broad Export Support：训练好的场景可以导出为 USD（ParticleField）、NuRec USDZ（Omniverse）或 PLY 格式。
- Advanced Features：支持 Neural Harmonic Textures（NHT）、MCMC 密集化，以及物理上合理的图像信号处理（PPISP）。