verl-project/verl-recipe

解決する課題

verl-recipe は、verl (Versatile Reinforcement Learning) ライブラリのための、コミュニティから提供されたレシピを集中管理し、バージョン管理するためのコレクションです。多様な強化学習 (RL) 実験における依存関係や環境の互換性を管理する問題を解決し、ユーザーがバージョン競合なしに特定の研究セットアップを簡単に再現できるようにします。

仕組み

リポジトリ内の各レシピには、マニフェストとして機能する REQUIRED_VERL.txt ファイルが含まれています。このファイルは、コアとなる verl ライブラリ（gitコミットハッシュまたはリリースタグ経由）とレシピ自体の正確なバージョンを固定します。プロジェクトには install_verl.sh スクリプトが用意されており、これらのマニフェストを読み取って正しい環境を自動的にセットアップします。pip を介したインストール、または編集可能な開発のために verl ソースコードを git サブモジュールとしてクローンする方法のいずれかを選択できます。

対象ユーザー

このプロジェクトは、強化学習技術を使用して LLM をトレーニングするために verl フレームワークを使用する AI 研究者およびエンジニア向けです。特に、研究論文で文書化された特定の RL アルゴリズム、エージェントベースのワークフロー、またはパフォーマンス最適化を再現する必要がある方に役立ちます。

ハイライト

• 再現性: すべてのレシピは、破壊的な変更を防ぐために、コアライブラリの互換性のあるバージョンに厳密に固定されています。
• 自動セットアップ: install_verl.sh スクリプトにより、ライブラリのバージョンと特定の研究実装を一致させる複雑なプロセスが簡素化されます。
• 多様な実装: Single-stream Policy Optimization (SPO)、LangGraph を使用したマルチターンエージェントロールアウト、GPU 効率の高い部分ロールアウトなどの高度な技術向けのレシピが含まれています。
• 柔軟なデプロイ: 標準的な pip インストールと、基盤となるフレームワークを変更する必要があるユーザー向けの git ベースの編集可能なワークフローの両方をサポートしています。