allenai/open-instruct

AllenAI's post-training codebase

解決する課題

大規模言語モデルに指示に従い役立つように訓練することは、複雑で急速に進化する分野です。このプロジェクトは、公開データセットを使用して事前学習済みモデルの命令チューニングとポストトレーニングを行うための、オープンで統一されたコードベースを提供します。研究者は、トレーニングパイプラインを再発明することなく、Tülu モデルなどの最先端の結果を再現できます。

仕組み

このリポジトリには、主に3つのアプローチのトレーニングスクリプトが含まれています:

  • 指示追従のための教師ありファインチューニング(SFT)。
  • 人間の好みから学習するための直接選好最適化(DPO)。
  • GRPO(方策勾配法)による検証可能な報酬を用いた強化学習(RLVR)。これは、コードの正しさのように明確でチェック可能な報酬があるタスクに役立ちます。

データセットは統一された形式に変換されます。コードベースには、命令チューニングと評価データセット間の重複を測定するためのデコンダミネーションスクリプトも含まれており、偶発的なデータ漏洩を防ぐのに役立ちます。AI2 の Beaker クラスター用の起動スクリプトが提供されていますが、トレーニングはローカルでも実行できます。プロジェクトは、ネイティブの評価サポートは現在メンテナンスされておらず、代わりに OLMES を使用することを推奨しています。

対象読者

これは、オープンデータで言語モデルをトレーニングまたはファインチューニングしたい研究者や開発者を対象としており、特に指示追従、選好チューニング、または報酬ベースの強化学習を試している人々に適しています。研究用コードベースであるため、後方互換性は保証されません。

ハイライト

  • SFT、DPO、GRPO ベースの RLVR 用のすぐに実行できるスクリプトを提供。
  • トレーニング/評価データの重複を防ぐためのデコンダミネーションツールを含む。
  • Tülu モデルシリーズに基づき、OLMo 3 実験に使用。
  • コードはいくつかの有名なプロジェクト(HuggingFace、TRL、OpenAI RLHF、OpenRLHF)から適応。
  • Apache 2.0 ライセンス。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • Dispatch