OpenRLHF/OpenRLHF

解决的问题

OpenRLHF 提供了一个高性能、生产就绪的强化学习（RLHF）框架。它解决了 RLHF 训练中的扩展性和效率瓶颈——特别是样本生成通常占用 80% 训练时间的问题——通过整合优化推理与训练的分布式架构来实现。

运作原理

该框架使用分布式架构，结合了用于调度与资源管理的 Ray、用于高吞吐量样本生成的 vLLM，以及用于内存高效训练的 DeepSpeed (ZeRO-3)。

它引入了一种统一的基于代理（agent-based）的设计范式，将每次训练运行视为“token-in-token-out”的代理执行。这使 RL 算法与执行模式解耦，允许用户在以下模式间切换：

• 单轮模式 (Single-Turn Mode)：适用于大多数 RLHF 用例的标准一次性生成。
• 多轮模式 (Multi-Turn Mode)：与环境反馈进行多步骤交互，适用于复杂推理或交互式代理。

适用对象

专为需要大规模对齐大型语言模型 (LLM) 和视觉语言模型 (VLM) 的 AI 研究人员与工程师设计，支持从小型模型到拥有数千亿参数的模型。

特色亮点

• 多样化的 RL 算法：支持 PPO, REINFORCE++, GRPO, RLOO 和 FlashREINFORCE。
• 混合引擎调度：允许模型与 vLLM 引擎共享 GPU 资源以最大化利用率。
• 广泛的模型支持：兼容于 HuggingFace Transformers，包括对 LoRA/QLoRA, MoE 和 VLM 的支持。
• 进阶优化：包含样本打包 (sample packing)、用于长上下文的 RingAttention 以及 Muon 优化器。
• 灵活的奖励塑形：具备 DAPO 风格的过长惩罚和 ProRL 风格的截断惩罚，以实现更好的长度控制。