nv-tlabs/3dgrut

何を解決するか

3DGRUTは従来のガウススプラッティング（3DGS）とレイトレーシングの限界を克服します。3DGSは高速ですが、歪みのあるカメラ（ローリングシャッターなど）や複雑な光効果に対応しづらく、従来のレイトレーシングはより柔軟ですが、リアルタイム用途にはしばしば遅すぎます。3DGRUTは、複雑なカメラ歪みと二次光効果（反射、屈折、影）をサポートする高品質な3Dシーンをレンダリングするハイブリッドアプローチを提供します。

動作方法

本プロジェクトは3つの異なるレンダリング技術を実装しています：

• 3Dガウスレイトレーシング（3DGRT）：体積的ガウス粒子のレイトレーシングを実行し、歪みのあるカメラと複雑な光現象のための二次レイをサポートします。
• 3Dガウスアンスケンテッド変換（3DGUT）：ラスタライゼーションベースのフレームワークで、歪みのあるカメラをサポートしつつ、ラスタライゼーションの高効率を維持します。
• 3DGRUT：主レイをラスタライゼーションで（高速性のために）、二次レイをレイトレーシングで（視覚的忠実度のために）レンダリングするハイブリッド手法です。

対象ユーザー

歪みのあるカメラ入力の処理や、ガウスベースのシーンにおける現実的な光輸送のシミュレーションが必要な、3D再構築、ニューラルレンダリング、コンピュータグラフィックス分野の研究者や開発者。

主な特徴

• ハイブリッドレンダリング：パフォーマンスと視覚的品質のバランスを取るために、ラスタライゼーションとレイトレーシングを組み合わせます。
• 歪みのあるカメラ対応：ローリングシャッターなどの時間依存の複雑な効果を処理します。
• 高度な光効果：反射、屈折、影を効率的にシミュレートします。
• 拡張可能なフレームワーク：Neural Harmonic Textures (NHT)、MCMC密度化、物理的に妥当なISP後処理をサポートします。
• プロダクション対応：NVIDIA Omniverse などのツールで使用可能な USD (ParticleField)、PLY、NuRec 形式へのエクスポート機能を備えています。