verl-project/verl-recipe

A set of examples based on verl for end-to-end RL training recipes.

What is verl‑recipe?

verl‑recipe は、VeRL ライブラリ（https://github.com/verl-project/verl）用の レシピ — 事前構築された例題プロジェクトと設定 — をバンドルする補助リポジトリです。VeRL は、大規模言語モデル（LLM）を用いた強化学習（RL）研究のためのオープンソースフレームワークです。各レシピは特定の RL 技術、ベンチマーク、または統合（例：LLM でのツール利用、シングルストリーム方策最適化、LangGraph を用いたマルチターン数学問題解決など）を示しています。

How it works

  1. サブモジュール統合 — このリポジトリは、メインの VeRL チェックアウト内（verl/recipe）にサブモジュールとして追加することを想定しています。これにより、レシピがテストされた VeRL バージョンとバージョンロックされます。
  2. バージョンピン — 各レシピディレクトリには REQUIRED_VERL.txt ファイルがあり、以下の情報を記録しています：
    • 上流の VeRL git URL。
    • レシピが現在の main ブランチに従っているか、特定のコミットまたはリリースタグにピン止めされているか。
    • 一致する VeRL バージョンをインストールするために必要な pip install … コマンド。
    • ローリング レシピの場合、コアライブラリとレシピツリーの両方が再現可能にピン止めされるため、3つのコミットハッシュが保存されます。
  3. ワンショットインストーラー — install_verl.sh スクリプトは、レシピの REQUIRED_VERL.txt を読み取り、適切な pip install（または git ベースの編集可能インストール）を自動実行します。レシピ一覧の表示、実行するコマンドの確認、選択したレシピのインストール（オプションフラグ --method git、--option … など）が可能です。
  4. 貢献ワークフロー — レシピの追加または更新を行う際、貢献者は REQUIRED_VERL.txt を新しい VeRL バージョンに更新する必要があります。このリポジトリは pre‑commit と ruff ライターを使用して、コードの整頓を維持しています。

What you can do with it

  • LLM 上で最先端の RL 実験を、セットアップを手作りせずに実行できます。たとえば：
    • retool – LLM における戦略的ツール利用のための RL。
    • langgraph_agent – マルチターン数学式を展開する小さな LangGraph ReactAgent。
    • spo – Single‑stream Policy Optimization（arXiv:2509.13232）の実装。
    • partial_rollout – GPU のアイドル時間を削減するための、ロールアウト中断／再開を伴う同期型 RL（APRIL スタイル）。
    • verl_tinker – VeRL アクターを HTTP サーバーとして公開し、Tinker コックブッククライアントで利用可能にする。
  • レシピで定義されたオプションを選択することで、研究のバリエーションを実験できます（例：DAPO や FlowRL 用の論文固有のチェックポイント）。
  • 各レシピが正確な VeRL コミットおよび依存する補助サブモジュールのコミットをピン止めしているため、公開された結果を再現できます。

Who is it for?

  • LLM 用の強化学習に取り組む 研究者やエンジニア で、再現可能でコミュニティ検証済みのスタート地点を求める人。
  • 言語モデルに応用された高度な RL メソッドの具体的な例を探している 学生。
  • すでに VeRL を使用している 開発者 で、新しい実験設定を素早く追加したい人。

Getting started (quick steps)

# VeRL をクローンし、レシピをサブモジュールとして取得
git clone https://github.com/verl-project/verl.git
cd verl
git submodule update --init --recursive recipe

# 利用可能なレシピとピン止めされたインストールコマンドを一覧表示
./recipe/install_verl.sh --list

# 特定のレシピをインストール（例："retool" RL ツール利用例）
./recipe/install_verl.sh --recipe retool

スクリプトは実行する pip install コマンドを正確に表示し、--show を追加するとドライラン、--yes を追加すると確認をスキップできます。

要するに： verl‑recipe は VeRL ライブラリと併存する、再現可能な LLM 用 RL 例題のキュレートされたコレクションであり、ライブラリとレシピを完全に同期させるツールを備えています。

関連

  • プロジェクト
    verl-project/verl

    LLMのための柔軟で効率的なRL 訓練ライブラリ。RLHFアルゴリズムの実装を簡素化し、兆単位のパラメータ数を持つモデルへのスケーリングが可能です。

  • プロジェクト
    thinking-machines-lab/tinker-cookbook

    Tinker APIを介した言語モデルのファインチューニングのための抽象化とレシピのライブラリ。SFT、RL、マルチモーダルトレーニングをサポート。

  • プロジェクト
    allenai/vla-evaluation-harness

    Docker化された環境とバッチGPU推論を使用して、さまざまなロボットシミュレーション・ベンチマークにおける Vision-Language-Action (VLA) モデルを評価するための統一フレームワーク。

  • プロジェクト
    ZHZisZZ/dllm

    ARモデルを拡散モデルに変換するためのスケーラブルなパイプラインとレシピを提供する、拡散言語モデル（dLLM）の学習、推論、評価を統合するライブラリ。

  • プロジェクト
    UKGovernmentBEIS/inspect_evals

    Inspect AIフレームワークに基づく、コミュニティが貢献するLLM評価リポジトリ。モデル能力のベンチマークを標準化する。