worldbench/DiffusionOPSD
🔥 On-Policy Self-Distillation in Diffusion Models
解決する課題
拡散モデルの報酬最適化は通常、完全な多段階のノイズ除去プロセスの後にのみスコアを提供するため、モデルが中間予測をどのように改善すべきかを把握できない「監督ギャップ」が生じます。DiffusionOPSD は、画像レベルの報酬を明示的な中間ターゲットに変換し、トレーニング中にモデルが従うべき指針とすることで、このギャップを埋めます。
仕組み
本プロジェクトはオンポリシー自己蒸留ループを実装しています：
- クエリ収集：凍結された「振る舞いポリシー」が軌跡を生成し、低ノイズのクエリ状態を選択します。
- ターゲット構築：システムはクリーン出力のアンカーを計算し、微分可能な報酬勾配を用いて、そのアンカー周辺に有界な正（報酬上昇）および負（報酬下降）のターゲットを作成します。
- 有限フィッティング：トレーニング可能なポリシーがこれらの分離されたターゲットに適合し、ターゲットの品質とモデルがそれを実現する能力を分離します。
- リフレッシュ：指数移動平均（EMA）が振る舞いポリシーを更新し、新しい軌跡でプロセスを繰り返します。
対象読者
拡散モデルの報酬誘導型ポストトレーニングに取り組み、画像品質とトレーニング効率を向上させたい研究者および開発者。
ハイライト
- オンポリシー監督：オフラインの代替ではなく、現在のモデルが実際に訪れた状態を使用します。
- 明示的なターゲット：スカラー報酬を具体的な正および負のクリーン出力ターゲットに変換します。
- 高い効率性：DiffusionNFT と比較して、トレーニングの GPU 時間を 40% から 63% 削減します。
- 幅広い互換性：SD3.5-M および Z-Image-Turbo バックボーンをサポートし、7 種類の異なる報酬評価器（例：PickScore、HPSv3、DeQA）に対応します。
- 混合報酬トレーニング：複数の報酬モデルの重み付き和を同時に使用してトレーニングする機能。
関連
- プロジェクト
- プロジェクト
- Dispatch
- Dispatch
- Dispatch