allenai/open-instruct

AllenAI's post-training codebase

解决的问题

Open Instruct 提供了一个统一的框架，使用公开可用的数据集对流行的预训练语言模型进行指令微调和后训练。它旨在通过提供必要的代码、配方和工件，使创建高质量、遵循指令的模型（如 Tülu 系列）的过程变得开放且可复现。

工作原理

该项目实现了一个多阶段后训练流水线：

  • 监督微调 (SFT)：使用统一格式的指令数据集对基础模型进行微调。
  • 偏好微调：实现直接偏好优化 (DPO) 和 PPO，使模型与人类偏好对齐。
  • 可验证奖励的强化学习 (RLVR)：采用 GRPO 等技术，使用可验证的奖励来训练模型。
  • 参数高效微调：支持 LoRA 和 QLoRA，使微调更加易于访问。

适用人群

希望复现 Tulu 模型或对开源语言模型应用先进后训练技术（SFT、DPO、RLVR）的研究人员和开发者。

主要亮点

  • 全面的流水线：涵盖从 SFT 到偏好微调和 RLVR 的完整流程。
  • Tülu 模型系列：提供 Tülu 1、2 和 3 系列模型的训练配方和检查点。
  • 去污染工具：包含脚本，用于测量训练和评估数据集之间的重叠，以确保公平评估。
  • 广泛的模型支持：兼容 Llama 3.1 和 OLMo 2 模型。

相关

  • Dispatch
    使用 TRL 通过 Direct Preference Optimization (DPO) 微调 Llama 2

    Hugging Face 已将 Direct Preference Optimization (DPO) 集成到 TRL 库中，使用简化的二元交叉熵损失而不是复杂的 RLHF 管道来对齐 Llama 2 和其他 LLMs。

  • 项目
    huggingface/trl

    一个使用 SFT、DPO 和 GRPO 等技术对基础模型进行后训练的库，以使其与人类偏好和特定任务对齐。

  • 项目
    SalesforceAIResearch/DiffusionDPO

    一个用于 Diffusion-DPO 的训练框架，通过直接偏好优化（Direct Preference Optimization）将 Stable Diffusion 等图像生成模型与人类偏好对齐。

  • 项目
    Tencent-Hunyuan/UniRL

    UniRL 是一个开源 Python 框架，将统一的强化学习循环应用于许多多模态生成模型（LLM、视觉-语言模型、图像/视频扩散，以及混合 AR-扩散模型）。它提供四个入口点、基于 Hydra 的配置、可插拔的 rollout 引擎，以及通过 Ray 和 FSDP 进行的分布式训练。该仓库包含标准 RL 算法以及团队提出的三种新颖方法（Flow-DPPO、DRPO、CPPO）的教程。支持的模型包括 Stable Diffusion 3、FLUX.2-Klein、Qwen-3、HunyuanVideo 等。提供文档、示例配方和 WeChat 社区。采用 Apache-2.0 许可证。

  • 项目
    Goekdeniz-Guelmez/mlx-lm-lora

    一个使用 MLX 在 Apple Silicon 上本地训练和微调大型语言模型（LLM）的工具包，支持广泛的偏好优化和量化感知训练方法。