allenai/open-instruct

AllenAI's post-training codebase

解決的問題

Open Instruct 提供一個統一的框架，使用公開可用的資料集對流行的預訓練語言模型進行指令微調與後訓練。它旨在透過提供必要的程式碼、配方與工件，使建立高品質、遵循指令的模型（如 Tülu 系列）的過程開放且可重現。

工作原理

此專案實作一個多階段後訓練流程：

  • 監督式微調 (SFT)：使用統一格式的指令資料集對基礎模型進行微調。
  • 偏好微調：實作直接偏好優化 (DPO) 與 PPO，使模型與人類偏好對齊。
  • 可驗證獎勵的強化學習 (RLVR)：採用 GRPO 等技術，使用可驗證的獎勵來訓練模型。
  • 參數高效微調：支援 LoRA 與 QLoRA，使微調更易於取得。

適用對象

希望重現 Tulu 模型，或對開源語言模型應用先進後訓練技術（SFT、DPO、RLVR）的研究人員與開發者。

主要亮點

  • 全面的流程：涵蓋從 SFT 到偏好微調與 RLVR 的完整流程。
  • Tülu 模型系列：提供 Tülu 1、2 與 3 系列模型的訓練配方與檢查點。
  • 去污染工具：包含腳本，用於測量訓練與評估資料集之間的重疊，以確保公平評估。
  • 廣泛的模型支援：相容 Llama 3.1 與 OLMo 2 模型。

相關

  • Dispatch
    使用 TRL 進行 Direct Preference Optimization (DPO) 來微調 Llama 2

    Hugging Face 已將直接偏好優化 (DPO) 整合到 TRL 函式庫中，使得能夠使用簡化的二元交叉熵損失來對齊 Llama 2 和其他大型語言模型 (LLMs)，而無需複雜的來自人類回饋的強化學習 (RLHF) 流程。

  • 專案
    huggingface/trl

    一個用於後訓練基礎模型的函式庫，使用 SFT、DPO 與 GRPO 等技術將其與人類偏好和特定任務對齊。

  • 專案
    SalesforceAIResearch/DiffusionDPO

    一個用於 Diffusion-DPO 的訓練框架，透過直接偏好優化（Direct Preference Optimization）將 Stable Diffusion 等圖像生成模型與人類偏好對齊。

  • 專案
    Tencent-Hunyuan/UniRL

    UniRL 是一個開源 Python 框架，將統一的強化學習循環應用於許多多模態生成模型（LLM、視覺-語言模型、圖像/視頻擴散，以及混合 AR-擴散模型）。它提供四個入口點、基於 Hydra 的配置、可插拔的 rollout 引擎，以及通過 Ray 和 FSDP 進行的分佈式訓練。該倉庫包含標準 RL 算法以及團隊提出的三種新穎方法（Flow-DPPO、DRPO、CPPO）的教程。支持的模型包括 Stable Diffusion 3、FLUX.2-Klein、Qwen-3、HunyuanVideo 等。提供文檔、示例配方和 WeChat 社區。採用 Apache-2.0 許可證。

  • 專案
    Goekdeniz-Guelmez/mlx-lm-lora

    一個使用 MLX 在 Apple Silicon 上本地訓練與微調大型語言模型（LLM）的工具包，支援廣泛的偏好優化與量化感知訓練方法。