nerfstudio-project/gsplat

解决的问题

gsplat 是一个 CUDA 加速库，旨在提高 3D 高斯的渲染效率。它解决了与辐射场渲染相关的高内存和高计算成本问题，提供了比原始 3D Gaussian Splatting 实现更快、更节省内存的替代方案。

工作原理

该库为高性能 CUDA 内核提供了 Python 绑定。它实现了多种光栅化路径，包括密集渲染路径和一种实验性的仅推理路径 (HiGS)，后者使用宏块融合光栅化和 fp16 场景打包来实现低延迟渲染。它支持广泛的传感器模型（针孔、FTheta、鱼眼和 LiDAR），并集成了先进的优化策略，如 MCMC 风格的高斯优化和 3DGUT 扩展。

适用对象

从事 3D 场景重建、实时渲染和神经辐射场 (NeRF) 研究的研究人员和开发人员，他们需要一个高性能且兼容 PyTorch 的库来进行高斯溅射 (Gaussian splats) 的训练和渲染。

亮点

• 高性能：训练所需的 GPU 内存最高可减少 4 倍，完成速度比官方实现快至 15%。
• 广泛的传感器支持：包括对针孔、FTheta、鱼眼和 LiDAR 相机模型的原生支持。
• 多 GPU 支持：对密集渲染路径的分布式支持。
• 推理优化：用于预训练场景低延迟、仅推理渲染的实验性 HiGS 路径。
• 灵活的集成：支持跨多个场景和视点的任意批处理。