microsoft/MoGe

它解决了什么问题

MoGe 解决了从单张开放域图像中恢复精确 3D 几何结构的挑战。它能够通过一次前向传播估计出度量点图、度量深度图、法线图以及相机的视场角（FOV），从而减少了对多个专用模型的需求。

它如何工作

MoGe 使用深度学习模型（版本从 ViT-S 到 ViT-G）分析单目图像并预测其 3D 结构。最新版本 MoGe-3 引入了自引导稀疏体素优化，以提升细粒度几何精度。该模型可自动估计相机 FOV，也可使用提供的真值 FOV 以提高准确性。它支持灵活的分辨率和宽高比，并可通过 FP16 精度进行优化以提升速度。

适用于谁

该工具专为从事计算机视觉、3D 重建和增强现实的研究人员与开发者设计，帮助他们从标准 2D 照片中提取精确的度量 3D 数据。

主要亮点

• 一体化估计：同时预测点图、深度图和法线图。
• 度量尺度：提供具有实际度量尺度的几何结构（MoGe-2 和 MoGe-3 可用）。
• 高效性：在高端 GPU（A100/RTX3090）上每张图像延迟仅为 60ms。
• 全景支持：包含一个实验性扩展，用于处理 360° 等距投影全景图像。
• 灵活输出：可将结果导出为 .glb 或 .ply 文件，用于 3D 软件中。

该模型在单张图像上实现了高精度的 3D 几何重建，是 3D 重建领域的重要进展 — @zhiqin