allenai/open-instruct

AllenAI's post-training codebase

何を解決するか

Open Instruct は、公開されているデータセットを使用して、一般的な事前学習済み言語モデルの指示微調整および後処理を統合的に実行するフレームワークを提供します。Tüluシリーズのような高品質な指示従いモデルの作成プロセスを、コード、レシピ、アーティファクトを提供することで、オープンかつ再現可能にすることを目指しています。

仕組み

このプロジェクトは、複数段階の後処理パイプラインを実装しています：

教師あり微調整 (SFT)：一貫したフォーマットの指示データセットを使用して、ベースモデルを微調整します。
好み微調整：Direct Preference Optimization (DPO) と PPO を実装し、モデルを人間の好みに一致させます。
検証可能な報酬を用いた強化学習 (RLVR)：GRPO などの技術を用いて、検証可能な報酬を使用してモデルを訓練します。
パラメータ効率の良い微調整：LoRA と QLoRA をサポートし、よりアクセスしやすい微調整を実現します。

対象ユーザー

Tülu モデルを再現したい、またはオープンソース言語モデルに対して先進的な後処理技術（SFT、DPO、RLVR）を適用したい研究者や開発者。

特徴

包括的なパイプライン：SFT から好み微調整、RLVR までをカバーする完全なプロセス。
Tülu モデルシリーズ：Tülu 1、2、3 シリーズのモデルのトレーニングレシピとチェックポイントを提供。
データの混入除去ツール：トレーニングデータと評価データの重複度を測定するスクリプトを含み、公正な評価を確保。
広範なモデル対応：Llama 3.1 および OLMo 2 モデルと互換性あり。

関連

Dispatch
TRL を用いた Direct Preference Optimization (DPO) による Llama 2 のファインチューニング
Hugging Face は TRL ライブラリに Direct Preference Optimization (DPO) を統合し、複雑な RLHF パイプラインではなく、簡素化されたバイナリクロスエントロピー損失を使用して Llama 2 やその他の LLM をアラインできるようにしました。
プロジェクト
huggingface/trl
SFT、DPO、GRPOなどの手法を用いて、人間の好みや特定のタスクに合わせて基礎モデルをポストトレーニングするためのライブラリ。
プロジェクト
SalesforceAIResearch/DiffusionDPO
Direct Preference Optimization を用いて、Stable Diffusion のような画像生成モデルを人間の好みに合わせる Diffusion-DPO のための訓練フレームワークです。
プロジェクト
Tencent-Hunyuan/UniRL
UniRLは、統一された強化学習ループを多くのマルチモーダル生成モデル（LLM、ビジョン・言語モデル、画像/動画拡散、ハイブリッドAR-拡散モデル）に適用するオープンソースのPythonフレームワークです。4つのエントリポイント、Hydraベースの設定、プラグイン可能なロールアウトエンジン、およびRayとFSDPによる分散トレーニングを提供します。リポジトリには標準的なRLアルゴリズムと、チームが提案した3つの新規手法（Flow-DPPO、DRPO、CPPO）のチュートリアルが含まれています。対応モデルにはStable Diffusion 3、FLUX.2-Klein、Qwen-3、HunyuanVideoなどが含まれます。ドキュメント、例レシピ、WeChatコミュニティが提供されています。Apache-2.0ライセンス。
プロジェクト
Goekdeniz-Guelmez/mlx-lm-lora
MLX を使用して Apple Silicon 上でローカルに大規模言語モデル（LLM）のトレーニングとファインチューニングを行うためのツールキットで、広範な好み最適化および量子化に配慮したトレーニング手法をサポートします。