nachifur/RDDM

What it solves

RDDM 解決了標準擴散模型在影像修復與生成方面的局限性。它提供了一個框架，用於提升修復後的影像品質（例如移除雨滴、模糊或雜訊），並從頭開始生成新影像。

How it works

RDDM 使用殘差去噪方法。它採用兩個 UNet 架構來處理 "de-raining"（殘差）與去噪過程。在某些配置下，它可以將預訓練的 DDIM (Denoising Diffusion Implicit Models) 轉換為 RDDM，以利用現有模型進行影像生成。

Who it's for

從事電腦視覺研究與開發的開發者，特別是專注於影像修復（去雨、去模糊、去噪）與影像生成式 AI 的研究人員。

Highlights

• Versatile Image Restoration: 支援多種任務，包括去雨 (Raindrop dataset)、去模糊 (GoPro) 以及低光照增強 (LOL)。
• Multimodal Capabilities: 具備影像生成 (CelebA) 與影像修復的能力。
• DDIM Conversion: 能夠透過係數轉換將預訓練的 DDIM 模型轉換為 RDDM。
• Broad Application Range: 包含影像修補 (image inpainting) 與影像轉換 (例如：狗變貓) 的實驗。