worldbench/DiffusionOPSD
🔥 On-Policy Self-Distillation in Diffusion Models
它解决了什么问题
扩散奖励优化通常只在完整的多步去噪过程结束后才提供一个分数，从而产生“监督鸿沟”，使模型不知道如何改进中间预测。DiffusionOPSD 通过将图像级奖励转化为明确的中间目标，让模型在训练期间有所遵循，从而弥合这一鸿沟。
工作原理
该项目实现了一个同策略自蒸馏循环：
- 查询收集：一个冻结的“行为策略”生成轨迹，并选择低噪声查询状态。
- 目标构建：系统计算一个干净输出锚点，并利用可微奖励梯度在该锚点周围创建有界的正向（奖励上升）和负向（奖励下降）目标。
- 有限拟合：可训练策略拟合这些已分离的目标，将目标本身的质量与模型实现该目标的能力分离开来。
- 刷新：指数移动平均（EMA）更新行为策略，然后以新的轨迹重复该过程。
适用对象
从事扩散模型奖励引导后训练、希望提升图像质量和训练效率的研究人员和开发者。
亮点
- 同策略监督：使用当前模型实际访问过的状态，而非离线替代品。
- 明确目标：将标量奖励转换为具体的正向和负向干净输出目标。
- 高效率：与 DiffusionNFT 相比，可减少 40% 至 63% 的训练 GPU 小时数。
- 广泛兼容性：支持 SD3.5-M 和 Z-Image-Turbo 主干，并涵盖七种不同的奖励评估器（例如 PickScore、HPSv3、DeQA）。
- 混合奖励训练：能够同时使用多个奖励模型的加权和进行训练。
相关
- 项目
- 项目
- Dispatch
- Dispatch
- Dispatch