nachifur/RDDM

CVPR 2024: Residual Denoising Diffusion Models

What it solves

RDDMは、画像復元と生成における標準的な拡散モデルの限界を解決します。修復された画像の品質を向上させる（雨滴の除去、ぼかし、またはノイズの除去）フレームワークを提供します。また、ゼロから新しい画像を生成することも可能です。

How it works

RDDMは残差去噪アプローチを使用します。2つのUNetアーキテクチャを使用して、「de-raining」（残差）とデノイジング（去噪）プロセスを処理します。一部の構成では、プリトレーニングされた DDIM (Denoising Diffusion Implicit Models) を RDDM に変換して、既存のモデルを画像生成に活用することができます。

Who it's for

コンピュータビジョン分野の研究者や開発者、特に画像復元（降雨除去、ぼかし除去、デノイジング）や画像の生成AIに注力している人々です。

Highlights

  • Versatile Image Restoration: 降雨除去 (Raindrop dataset)、ぼかし除去 (GoPro)、低照度強化 (LOL) を含む複数のタスクをサポートします。
  • Multimodal Capabilities: 画像生成 (CelebA) と画像復元を両方可能です。
  • DDIM Conversion: 係数変換を通じて、プリトレーニングされた DDIM モデルを RDDM に変換する能力があります。
  • Broad Application Range: 画像インペインティング (image inpainting) と画像変換 (例：犬から猫へ) の実験を含みます。