nv-tlabs/3dgrut
Ray tracing and hybrid rasterization of Gaussian particles
What it solves
このプロジェクトは、従来の 3D Gaussian Splatting（3DGS）の制限、特に歪んだカメラ（ローリングシャッターなど）への対応ができない点や、反射・屈折・影といった複雑な光学現象のレンダリングが困難である点に対処します。
How it works
プロジェクトは以下の 3 つの補完的手法を実装しています：
- 3D Gaussian Ray Tracing (3DGRT)：splatting の代わりに体積ガウス粒子のレイ・トレーシングを行います。これにより二次光線（反射/屈折）のシミュレーションや複雑なカメラ歪みのサポートが可能になりますが、専用のレイ・トレーシングハードウェアが必要です。
- 3D Gaussian Unscented Transform (3DGUT)：ラスタライズベースのフレームワークで、従来のラスタライズの高効率を保ちつつ歪んだカメラをサポートします。
- 3DGRUT：ハイブリッドアプローチで、プライマリーレイはラスタライズ（高速化）し、セカンダリーレイはレイ・トレーシング（視覚的複雑性）を使用します。
Who it’s for
ニューラルリコンストラクションや 3D シーンレンダリングに取り組む研究者・開発者向けで、非理想的なカメラ効果や高忠実度の光学シミュレーションを必要とする方に適しています。
Highlights
- Hybrid Rendering：ラスタライズとレイ・トレーシングを組み合わせ、パフォーマンスとビジュアル品質のバランスを取ります。
- Hardware Acceleration：RT コアを備えた NVIDIA GPU 向けに最適化されています。
- Broad Export Support：トレーニング済みシーンは USD（ParticleField）、Omniverse 用 NuRec USDZ、または PLY 形式でエクスポート可能です。
- Advanced Features：Neural Harmonic Textures（NHT）、MCMC デンシフィケーション、物理的に妥当な画像信号処理（PPISP）をサポートします。