RWTHVision/diffusion-e2e-ft

解决的问题

本项目解决了用于深度和表面法线估计的概率扩散估计器效率低下和推理速度慢的问题。标准扩散模型需要多次去噪步骤才能生成结果，而本方法可创建单步、确定性的模型，在显著减少计算时间的同时保持或提升精度。

工作原理

该项目实现了图像条件扩散模型的端到端（E2E）微调。通过以预训练的扩散估计器（如 Marigold 或 GeoWizard）或通用模型（如 Stable Diffusion）为起点，并应用任务特定损失，将模型转换为确定性估计器。这些微调后的模型可使用零噪声在单次推理步骤中生成深度图或表面法线，从而绕过扩散模型通常所需的迭代采样过程。

适用人群

专为从事3D场景理解的计算机视觉研究人员和开发者设计，特别是需要从单张RGB图像中快速、高质量地估计深度和表面法线的用户。

主要亮点

• 单步推理：在NVIDIA RTX 4090上，每张图像的推理时间可低至121ms。
• 确定性输出：消除扩散采样的概率性，获得更一致的结果。
• 多样的基础模型：支持从 Stable Diffusion、Marigold 和 GeoWizard 进行微调。
• 多模态：提供专门用于深度估计和表面法线估计的检查点。