prs-eth/Marigold

解決的問題

Marigold 提供了一種從單張影像（單目分析）中提取高解析度影像特徵的方法。它解決了在不需要昂貴專用感測器或為每個新任務準備龐大真實世界資料集的情況下，準確估計深度、表面法線與內在影像屬性（如反照率與照明）的問題。

工作原理

Marigold 透過重新利用預訓練的潛在擴散模型（特別是 Stable Diffusion），並適應於密集影像分析。它不生成新影像，而是使用微調協定與小型合成資料集，利用生成模型中已儲存的豐富視覺知識。這使得模型能實現零樣本泛化，也就是在從未見過的影像上也能準確分析。

適用對象

此工具專為從事 3D 場景重構、影像分析與圖形學的電腦視覺研究人員與開發者設計，也適用於需要從標準 2D 影像中取得高品質深度圖與法線圖的使用者。

主要亮點

• 多模態分析：支援單目深度估計、表面法線預測與內在影像分解（外觀與照明）。
• Hugging Face 整合：管道已整合至 diffusers 套件中，方便存取。
• 高效訓練：可使用小型合成資料集，在單一 GPU 上數天內完成訓練。
• 零樣本泛化：在未見資料上展現最尖端的表現，無需進一步訓練。