nachifur/RDDM

What it solves

RDDM 解决了标准扩散模型的图像修复与生成方面的局限性。它提供了一个框架，用于提升修复后的图像质量（例如去除雨滴、模糊或噪声），并从头开始生成新图像。

How it works

RDDM 使用残差去噪方法。它采用两个 UNet 架构来处理 "de-raining"（残差）和去噪过程。在某些配置下，它可以将预训练的 DDIM (Denoising Diffusion Implicit Models) 吸收转化为 RDDM，以利用现有模型进行图像生成。

Who it's for

从事计算机视觉研究与开发的开发者，特别是专注于图像修复（去雨、去模糊、去噪声）和图像生成式 AI 的研究人员。

Highlights

• Versatile Image Restoration: 支持多种任务，包括去雨 (Raindrop dataset)、去模糊 (GoPro)，以及低光照增强 (LOL)。
• Multimodal Capabilities: 具备ทั้ง图像生成 (CelebA) 和图像修复的能力。
• DDIM Conversion: 能够通过系数转换将预训练的 DDIM 模型转换为 RDDM。
• Broad Application Range: 包含图像修复 (image inpainting) 和图像翻译 (例如：狗变猫) 的实验。