apple-aiml-research/ml-sharp

解决的问题

SHARP 实现了从单张图像生成逼真的视图合成。它解决了仅凭一张照片快速生成高分辨率、3D 一致的场景视图并保持度量准确性的难题，避免了传统 3D 重建通常伴随的长时间处理。

工作原理

该系统使用神经网络执行一次前向传播，回归场景的 3D 高斯表示（3D 高斯点云）的参数。此过程在标准 GPU 上耗时不到一秒。生成的 3D 表示具有度量属性，即具备绝对尺度，可实时渲染，从而生成邻近视角的图像。

适用人群

本工具专为从事计算机视觉、3D 场景重建和逼真渲染的研究人员与开发者设计，适用于需要单目视图合成中快速、零样本泛化能力的用户。

主要亮点

• 极高速度：通过一次前向传播在不到一秒内生成 3D 表示。
• 高保真度：相比以往最先进模型，显著降低 LPIPS 和 DISTS 误差。
• 度量尺度：支持绝对尺度，实现精确的度量相机运动。
• 广泛兼容性：生成与多种公开 3D 高斯点云渲染器兼容的 .ply 文件。