allenai/open-instruct
AllenAI's post-training codebase
解决的问题
训练大型语言模型遵循指令并变得有用是一个复杂且快速发展的领域。该项目提供了一个开放、统一的代码库,用于使用公开可用的数据集对预训练模型进行指令微调和后训练。它让研究人员能够重现如 Tülu 模型等最先进的结果,而无需重新发明训练流程。
工作原理
该仓库包含三种主要方法的训练脚本:
- 监督微调(SFT)用于指令遵循。
- 直接偏好优化(DPO)用于从人类偏好中学习。
- 通过 GRPO(一种策略梯度方法)进行带可验证奖励的强化学习(RLVR),当任务具有清晰、可检查的奖励(如代码正确性)时非常有用。
数据集被统一为一种格式。代码库还包括去污染脚本,用于衡量指令微调和评估数据集之间的重叠,从而避免意外的数据泄漏。提供了用于 AI2 的 Beaker 集群的启动脚本,但训练也可以在本地运行。项目指出原生评估支持已不再维护,建议改用 OLMES。
适用人群
这面向希望在开放数据上训练或微调语言模型的研究人员和开发者,尤其是那些尝试指令遵循、偏好调优或基于奖励的强化学习的人。这是一个研究代码库,因此不保证向后兼容性。
亮点
- 提供现成的脚本用于 SFT、DPO 和基于 GRPO 的 RLVR。
- 包含去污染工具以防止训练/评估数据重叠。
- 基于 Tülu 模型系列,并用于 OLMo 3 实验。
- 代码改编自多个知名项目(HuggingFace、TRL、OpenAI RLHF、OpenRLHF)。
- 根据 Apache 2.0 许可证授权。
相关
- 项目
- 项目
- 项目
- 项目
- Dispatch