AgileRL/AgileRL

AgileRL – LLM と古典的 RL のためのエンドツーエンドのポストトレーニング

それは何か – 事前トレーニング済みの大規模言語モデル（LLM）を取得し、最新の技術の全範囲でトレーニングを継続できる Python ライブラリ：教師あり微調整（SFT）、選好学習（DPO）、および複数の強化学習（RL）アルゴリズム（GRPO、CISPO、GSPO、PPO、REINFORCE）。同じパッケージは、単一エージェント、マルチエージェント、オフライン、バンディット問題向けの「古典的な」深層 RL もサポートし、進化的ハイパーパラメータ最適化（HPO）を内蔵しています。

なぜ重要か – 既存のツールのほとんどは、LLM の微調整または古典的 RL のいずれかに焦点を当てており、両方を扱うものは少なく、大規模に実行するには多くのグルーコードが必要になることがよくあります。AgileRL は、LLM のポストトレーニングスタック全体 と 完全な RL スイートをバンドルし、以下を提供します：

• ローカルで実行またはマネージド Arena クラウドサービスに送信できる、統一された YAML ベースの実験マニフェスト。
• メモリ節約のテクニック（LoRA、QLoRA、アクティベーションチェックポイント、CPU/GPU 外オプティマイザーオフロード）を備えた Torch ネイティブの分散トレーニング（データ並列または FSDP2 シャーディング）。
• vLLM による高速推論ロールアウト。トレーナーと同じ場所に配置することも可能。
• 学習率、KL ペナルティなどをオンザフライで調整する進化的集団ベース HPO。
• 意図的に「エージェントフレンドリー」に設計された CLI と Python SDK。つまり、AI コーディングアシスタントがマニフェストを生成、検証し、人間の介入なしにジョブを起動できます。

主要コンポーネント

コンポーネント	役割
アルゴリズム	LLM：SFT、DPO、GRPO、CISPO、GSPO、PPO、REINFORCE。古典的 RL：PPO、DQN、Rainbow DQN、DDPG、TD3、CQL、ILQL、MADDPG、MATD3、IPPO、NeuralUCB、NeuralTS。
トレーニングバックエンド	ローカル GPU（torchrun）またはリモート Arena クラスター（非同期、集団ベース）。
モデルサポート	任意の Hugging Face transformer。高密度、MoE、ハイブリッド Mamba ファミリーを含む（例：Qwen、Granite、Gemma、Nemotron-3.5 最大 120 B）。
アダプター	低メモリ微調整用の LoRA と QLoRA。MoE モデル用のエキスパートごとの LoRA。
並列性	データ並列または完全シャーディングデータ並列（FSDP2）。単一の FSDPConfig で全 LLM アルゴリズムに適用。
ロールアウトエンジン	高スループットのトークン生成用の vLLM。トレーナーと同じ GPU に配置可能。
ハイパーパラメータ最適化	進化的 HPO がエージェントの集団を実行。ハイパーパラメータはトレーニング中に進化。
CLI / SDK	arena CLI はログイン、モデル一覧、実験送信、デプロイ、生成用。Python の LocalTrainer と ArenaClient はプログラムでの使用用。

典型的なワークフロー

1. マニフェストを書く – ベースモデル、アルゴリズム、環境（OpenEnv、Gymnasium、PettingZoo、またはカスタムリモートサーバー）、HPO 設定を記述した単一の YAML ファイル。
2. ローカルで実行 – python -m agilerl.train my_manifest.yaml または LocalTrainer.from_manifest(...) を使用。
3. Arena でスケール – arena experiments submit my_manifest.yaml --project my-project。Arena は非同期ロールアウト、集団ベース HPO、GPU プロビジョニングを処理。
4. デプロイ – arena agent deploy <experiment> その後 arena agent generate --prompt "…" で微調整された LLM とチャット。

パフォーマンスの主張 – README は、AgileRL が同等のライブラリ（ART、TRL）よりも毎秒 4 倍以上のトークンを処理し、マルチターン数独タスクで半分の GPU メモリでより高い報酬を達成するベンチマークを引用しています。

はじめに

pip install "agilerl[llm]"   # LLM ポストトレーニングの追加機能
pip install agilerl           # 古典的 RL + Arena CLI

オプションの追加機能で Box2D 物理、CPU 専用ホイール、または Arena SDK のみを追加できます。

ドキュメントとコミュニティ – 完全なドキュメントは https://docs.agilerl.com、ヘルプ用の Discord サーバー、オープンソースの Apache-2.0 ライセンス。

---

すべての詳細はリポジトリの README から直接取得しています。外部の仮定は追加されていません。