caiyuanhao1998/HDR-GS
"HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting" (NeurIPS 2024)
解决的问题
本项目旨在解决从现有图像生成场景新视角的问题,特别是针对高动态范围 (HDR) 内容。传统的 NeRF 等方法速度缓慢,每个视角通常需要数分钟。HDR-GS 改用高斯溅射 (Gaussian splatting) 这一更快速的技术,声称能以 1000 倍的速度创建 HDR 新视角。此外,由于现有的 HDR 数据集与 3D Gaussian Splatting 流水线不兼容,该项目还提供了重新校准的相机位姿和数据集。
工作原理
HDR-GS 将 3D 场景表示为一组高斯基元集合,每个基元具有位置、颜色和不透明度等参数。对于 HDR,该方法学习一个色调映射器,将高动态范围辐射值转换为标准图像。流水线包含运动恢复结构 (structure-from-motion) 以重新校准相机位姿并生成初始点云。代码提供了针对合成场景和真实场景的训练脚本,以及加载预训练模型以渲染新视角或螺旋视频的测试脚本。
适用人群
本项目面向从事新视角合成、HDR 成像或实时渲染的研究人员和开发人员。对于任何想要尝试高斯溅射或复现 NeurIPS 2024 论文结果的人来说,它也非常有用。用户应熟悉命令行工具并拥有用于训练的 GPU。
主要亮点
- 被 NeurIPS 2024 接收
- 相比以往基于 NeRF 的 HDR 方法速度提升 1000 倍
- 包含用于合成场景和真实场景的训练与测试代码
- 通过 Google Drive、Baidu Disk 和 Hugging Face 提供重新校准的数据集和预训练模型
- 在项目页面提供交互式对比结果
- 支持通过提供的脚本直接加载模型并渲染螺旋视频
相关
- 项目
- 项目
- 项目
- 项目