apple-aiml-research/ml-depth-pro

解決的問題

Depth Pro 解決了在無需相機內部參數（如內參）的情況下，從單張影像（單目深度估計）中準確估算高解析度度量深度的挑戰。它特別解決了速度、解析度與清晰度之間的權衡，提供包含細緻邊界細節的絕對尺度預測。

工作原理

該系統基於一種高效多尺度視覺變換器構建的基礎模型，專為密集預測設計。透過結合真實與合成資料的訓練協議，確保高精度的度量準確性與精確的邊界追蹤。模型可從單張影像中估計焦距，並在標準GPU上約0.3秒內生成225萬像素的深度圖。

適用對象

適用於從事電腦視覺、機器人或3D重構的研究人員與開發者，他們需要從標準影像中快速實現零樣本度量深度估計。

主要亮點

• 零樣本度量深度：無需相機內參即可預測絕對尺度。
• 高速性能：在GPU上生成225萬像素深度圖耗時不足0.3秒。
• 清晰細節：專注於高頻細節與細緻邊界追蹤。
• 整合評估：包含專門用於測量深度圖邊界準確性的指標。