nerfstudio-project/gsplat

解決的問題

gsplat 是一個 CUDA 加速函式庫，旨在提高 3D 高斯的渲染效率。它解決了與輻射場渲染相關的高記憶體與高計算成本問題，提供了比原始 3D Gaussian Splatting 實作更快、更節省記憶體的替代方案。

工作原理

該函式庫為高性能 CUDA 核心提供了 Python 綁定。它實現了多種光柵化路徑，包括密集渲染路徑以及一種實驗性的僅推理路徑 (HiGS)，後者使用宏塊融合光柵化與 fp16 場景打包來實現低延遲渲染。它支援廣泛的感測器模型（針孔、FTheta、魚眼與 LiDAR），並整合了先進的優化策略，例如 MCMC 風格的高斯優化與 3DGUT 擴充。

適用對象

從事 3D 場景重建、即時渲染與神經輻射場 (NeRF) 研究的研究人員與開發人員，他們需要一個高性能且相容於 PyTorch 的函式庫來進行高斯濺射 (Gaussian splats) 的訓練與渲染。

亮點

• 高性能：訓練所需的 GPU 記憶體最高可減少 4 倍，完成速度比官方實作快至 15%。
• 廣泛的感測器支援：包括對針孔、FTheta、魚眼與 LiDAR 相機模型的原生支援。
• 多 GPU 支援：對密集渲染路徑的分散式支援。
• 推理優化：用於預訓練場景低延遲、僅推理渲染的實驗性 HiGS 路徑。
• 靈活的整合：支援跨多個場景與視點的任意批處理。