3dgrut: レイ・トレーシングによる反射と歪んだカメラ効果をサポートするハイブリッド Gaussian Splatting フレームワーク

何を解決するか

3DGRUT は、反射、屈折、影などの複雑な光学現象のレンダリングを可能にし、ローリングシャッターのような時間依存の効果を持つ歪んだカメラをサポートすることで、従来の Gaussian Splatting (3DGS) の限界に対処します。レイ・トレーシングの高度な視覚的忠実度と柔軟性を、ラスタライゼーションの速度とバランスさせる方法を提供します。

仕組み

このプロジェクトは、3つの異なるが関連するレンダリング手法を実装しています：

• 3D Gaussian Ray Tracing (3DGRT): スプラッティングの代わりに、この手法はボリューム的な Gaussian パーティクルに対してレイ・トレーシングを行います。これにより、二次レイ（反射/屈折）と複雑なカメラの歪みを可能にしますが、専用のレイ・トレーシング・ハードウェアが必要であり、ラスタライゼーションよりも低速です。
• 3D Gaussian Unscented Transform (3DGUT): この手法は、歪んだカメラと時間依存の効果をラスタライゼーション・フレームワークに導入し、高い効率を維持します。
• 3DGRUT (Hybrid): ハイブリッド手法であり、プライマリレイをラスタライゼーション経由で（速度のため）、二次レイをレイ・トレーシング経由で（反射などの視覚効果のため）レンダリングし、両方の長所を組み合わせます。

対象者

3D シーン再構成、コンピュータ・グラフィックス、およびニューラル・レンダリングに従事し、複雑な照明効果をシミュレートしたり、非理想的なカメラ・ハードウェアを扱ったりする必要がある研究者や開発者。

ハイライト

• ハイブリッド・レンダリング: ラスタライゼーションとレイ・トレーシングを組み合わせて、パフォーマンスと柔軟性を最適化します。
• ハードウェア・アクセラレーション: NVIDIA GPU の RT コアを備えたモデル向けに最適化されています。
• 幅広いエクスポート・サポート: 学習済みシーンは、USD (ParticleField)、Omniverse 用の NuRec USDZ、または PLY 形式にエクスポートできます。
• 高度な学習機能: MCMC densification、選択的 Adam 最適化、および物理的に妥当な画像信号処理 (PPISP) をサポートします。