inspatio/querysplat

解决的问题

QuerySplat 解决了从图像预测 3D Gaussian Splatting (3DGS) 表示的挑战，具体通过解耦几何和外观表示来提高 3D 场景重建的质量和准确性。

工作原理

该系统使用前馈模型来预测用于渲染的 3D 高斯。它利用 VGGT-Omega 进行图像编码、相机预测和深度预测。该过程涉及自定义图像预处理，并可通过可选的测试时优化 (TTO) 使用 LPIPS 权重来细化重建目标。它可以在“无位姿”模式下运行，该模式估计其自身的相机参数，而不是依赖提供的数据集位姿。

适用人群

本项目面向从事 3D 场景重建、神经渲染和计算机视觉的研究人员和开发人员，特别是那些对高效 3D Gaussian Splatting 预测感兴趣的人。

亮点

• 解耦表示：分离几何和外观以更好地进行 3DGS 预测。
• 无位姿能力：可以在内部估计相机参数，而无需外部位姿数据。
• 测试时优化：包含一个可选的 TTO 步骤，以进一步细化场景质量。
• 集成：基于 VGGT-Omega 构建，用于稳健的图像编码和深度/相机预测。