VeRL‑Omni

VeRL‑Omni 是一个开源的强化学习（RL）训练框架，专注于多模态生成模型，例如扩散图像/视频/音频生成器以及全模态（文本-图像-音频-视频）模型。它基于 verl 库构建，并与 vLLM‑Omni 推理后端紧密集成，为这些大型模型提供快速、稳定、可扩展的 RL 后训练。

---

功能

• 对扩散和全模态生成器（例如 Qwen‑Image、SD3.5、Qwen‑3‑Omni、BAGEL、Wan2.2 等）进行 基于 RL 的微调。
• 支持多种针对生成模型定制的 RL 算法：FlowGRPO、Flow‑DPPO、MixGRPO、Diffusion‑OPD、DiffusionNFT、DPO、GSPO、DAPO 等。
• 通过 vLLM‑Omni 后端提供高吞吐量的 rollout，包括批处理、嵌入缓存和路由优化。
• 提供异步多奖励服务（HTTP 评分器、HPSv3、GenRM‑OCR、UnifiedReward 等），使 rollout 和奖励计算重叠。
• 支持分布式训练后端（VeOmni、FSDP2）和多种并行策略（USP/TP/DP）。
• 包含稳定性技巧，例如 rollout 校正以跳过昂贵的对数概率重新计算，以及确定性 RL 管道。
• 支持 Ascend NPU（A2、A3、A5），实现硬件加速训练。

---

适用人群

• 使用 RL 微调扩散模型以提升图像/视频/音频质量的研究人员。
• 构建需要快速、稳定 RL 管道的商业多模态生成服务的工程师。
• 希望尝试在线策略蒸馏（DiffusionOPD）、多教师 RL 或全模态模型奖励模型对齐的团队。

---

快速入门（概述）

1. 安装 – 按照文档执行 pip install verl-omni 或从源码构建。
2. 选择配方 – 例如，适用于 Qwen‑Image 的 FlowGRPO 配方位于 examples/flowgrpo_trainer/。
3. 配置 – 编辑提供的 Hydra YAML 文件，设置模型、数据集、奖励端点和并行度。
4. 运行 – 启动训练器（python -m verl_omni.train ...）。
5. 监控 – 日志兼容 Weights & Biases、TensorBoard 等。

---

文档与资源

• 完整文档： https://verl‑omni.readthedocs.io/en/latest/
• 安装指南： https://verl‑omni.readthedocs.io/en/latest/start/install.html
• 快速入门教程： https://verl‑omni.readthedocs.io/en/latest/start/flowgrpo_quickstart.html
• 算法详情： FlowGRPO、DiffusionOPD、DAPO 等（参见 docs/algo/ 部分）。
• 示例配方： 位于 examples/（FlowGRPO、DiffusionNFT、GSPO、DAPO 等）。
• 社区： Slack 邀请、微信群以及问题跟踪器以获取支持。

---

许可证

Apache 2.0 – 宽松的开源许可证。

---

引用

如果在研究中使用 VeRL‑Omni，请引用提供的 BibTeX 条目。

---

总结： VeRL‑Omni 是为最新一代多模态和全模态生成模型打造的生产级、可扩展的 RL 训练栈，开箱即用地提供速度、稳定性和硬件灵活性。