prs-eth/Marigold

解决的问题

Marigold 提供了一种从单张图像（单目分析）中提取高分辨率图像特征的方法。它解决了在无需昂贵专用传感器或为每个新任务准备大规模真实世界数据集的情况下，准确估计深度、表面法线和内在图像属性（如反照率和光照）的问题。

工作原理

Marigold 通过将预训练的潜在扩散模型（特别是 Stable Diffusion）重新用于密集图像分析。它不生成新图像，而是使用微调协议和小型合成数据集，利用生成模型中已存储的丰富视觉知识。这使得模型能够实现零样本泛化，即在未见过的图像上也能准确分析。

适用人群

该工具专为从事 3D 场景重建、图像分析和图形学的计算机视觉研究人员和开发者设计，也适用于需要从标准 2D 图像中获取高质量深度图和法线图的用户。

主要亮点

• 多模态分析：支持单目深度估计、表面法线预测和内在图像分解（外观与光照）。
• Hugging Face 集成：管道已集成到 diffusers 库中，便于访问。
• 高效训练：使用小型合成数据集，可在单个 GPU 上用几天时间完成训练。
• 零样本泛化：在未经训练的未见数据上表现出最先进的性能。