nv-tlabs/3dgrut
Ray tracing and hybrid rasterization of Gaussian particles
What it solves
本專案解決傳統 3D Gaussian Splatting（3DGS）的限制，特別是無法處理畸變相機（例如具有卷帘快門的相機）以及難以渲染複雜光學現象（如反射、折射與陰影）。
How it works
本專案實作三種互補技術：
- 3D Gaussian Ray Tracing (3DGRT)：不使用 splatting，而是對體積高斯粒子進行光線追蹤。此方式可模擬次級光線（反射/折射）並支援複雜的相機畸變，但需要專用的光線追蹤硬體。
- 3D Gaussian Unscented Transform (3DGUT)：基於光柵化的框架，能在保有傳統光柵化高效能的同時支援畸變相機。
- 3DGRUT：混合方法，將光柵化用於主要光線（提升速度），光線追蹤用於次級光線（提升視覺複雜度）。
Who it’s for
此框架設計給從事神經重建與 3D 場景渲染的研究者與開發者，特別是需要支援非理想相機效應或高保真光學模擬的使用者。
Highlights
- Hybrid Rendering：結合光柵化與光線追蹤，以平衡效能與視覺品質。
- Hardware Acceleration：針對具 RT 核心的 NVIDIA GPU 進行最佳化。
- Broad Export Support：訓練好的場景可匯出為 USD（ParticleField）、NuRec USDZ（Omniverse）或 PLY 格式。
- Advanced Features：支援 Neural Harmonic Textures（NHT）、MCMC 密集化，以及物理上合理的影像訊號處理（PPISP）。