apple-aiml-research/ml-depth-pro

解决的问题

Depth Pro 解决了无需相机内参（如内参矩阵）即可从单张图像（单目深度估计）中准确估计高分辨率度量深度的挑战。它特别解决了速度、分辨率和清晰度之间的权衡，提供包含精细边界细节的绝对尺度预测。

工作原理

该系统基于一种高效的多尺度视觉变换器构建的基础模型，专为密集预测设计。通过结合真实数据和合成数据的训练协议，确保了高精度的度量准确性和精确的边界追踪。该模型能够从单张图像中估计焦距，并在标准GPU上约0.3秒内生成225万像素的深度图。

适用人群

适用于从事计算机视觉、机器人或3D重建的研究人员和开发者，他们需要从标准图像中快速实现零样本度量深度估计。

主要亮点

• 零样本度量深度：无需相机内参即可预测绝对尺度。
• 高速性能：在GPU上生成225万像素深度图耗时不足0.3秒。
• 清晰细节：专注于高频细节和精细边界追踪。
• 集成评估：包含专门用于测量深度图边界准确性的指标。