LogosIntelligenceLab/4d-gaussian-splatting
[ICLR 2024] Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting
解决的问题
传统的 3D 场景渲染可以捕捉静态场景,但现实世界的场景是运动的:人们行走、摄像机平移、物体位移。本项目解决了在保持照片级逼真度的同时,实时表示和渲染动态场景这一更具挑战性的问题。它通过将空间和时间视为一个统一的 4D 模型来处理,而不是将其拆分为独立的步骤。
工作原理
核心思想是将“Gaussian splatting”——一种使用数百万个微小、模糊的 3D 斑点(高斯)来快速渲染场景的技术——从 3D 扩展到 4D。每个高斯现在还携带一个时间分量,因此它可以随着场景的变化而移动和变形。论文描述了“无偏 4D 高斯基元”以及一个专门的渲染管线,能够连贯地处理空间和时间维度。这使得同一个模型可以在任何时刻从任何视角渲染场景,包括从未被直接捕捉到的视角。
该代码构建在著名的 3D Gaussian Splatting 实现之上,因此它使用相同的环境和训练方法。您可以下载数据集(Neural 3D Video 数据集或 DNeRF 数据集),根据需要进行预处理,然后使用配置文件运行单个训练命令。
适用人群
从事新视角合成、虚拟现实、电影制作或任何需要实时渲染直播或录制动态 3D 场景的应用程序的研究人员和开发人员。假设用户熟悉 3D Gaussian Splatting 和标准的深度学习工具(Python, conda)。
主要亮点
- 具有照片级逼真质量的动态场景实时渲染(不仅仅是静态场景)
- 统一的 4D 高斯基元,共同建模空间和时间,避免了单独的运动估计步骤
- ICLR 2024 发表论文的官方实现
- 构建在成熟的 3D Gaussian Splatting 代码库之上,易于采用
- 包含演示视频,展示了动态新视角合成、子弹时间效果、来自传送摄像机的自由视角视频以及单目动态场景重建
相关
- 项目
- 项目
- 项目
- 项目