DaoyuanLi2816/mini-verl

解决的问题

mini-verl 允许用户在单个消费级 NVIDIA GPU 上运行高级强化学习（RL）训练工作流——特别是 PPO、GRPO 和 on-policy distillation（OPD）。它为希望使用 verl 配置和训练配方但缺乏通常所需的庞大计算集群的开发者提供了桥梁。

如何工作

该项目采用顺序执行模型，不同角色（Actor、Critic、Reference、Reward 和 Teacher）在不同阶段共享单个 GPU，而不是在集群中并行运行。它支持标准的 verl 配置树和 Hydra 覆盖，使用户可以在本地训练，然后导出适配器、数据集和配置，用于扩展到更大规模的环境。

适用人群

专为希望在单个 GPU 上本地实验 RL 训练的开发者和研究人员设计；也适用于已使用 verl 但需要本地测试环境的用户，以及希望在消费级硬件上执行 on-policy distillation 或基于奖励的训练的用户。

主要亮点

• 单 GPU 高效性：优化用于在消费级硬件（如 RTX 4080）上运行复杂 RL 工作负载（如 GRPO 和 PPO）。
• verl 兼容性：直接支持 verl 配置文件和覆盖选项。
• 精确恢复：支持从检查点恢复训练，完整恢复模型、优化器、数据位置和随机状态。
• 灵活的训练配方：支持 PPO、GRPO、on-policy distillation（OPD）、SFT、DPO 和离线 KD。
• 可导出结果：生成训练好的适配器、奖励日志和就绪报告，便于移交至更大计算环境。