langfengQ/verl-agent

verl-agent is an extension of veRL, designed for training LLM/VLM agents via RL. verl-agent is also the official code for paper "Group-in-Group Policy Optimization for LLM Agent Training"

What it solves

verl-agent は、長時間タスクに対する LLM エージェントの訓練におけるスケーラビリティ問題を解決します。従来の手法は対話履歴全体を連結するため、コンテキスト長が急速に増大し、トークン上限や非効率につながります。本プロジェクトは、強化学習 (RL) を用いてエージェントを訓練するフレームワークを提供し、マルチターンのやり取りでもコンテキスト長が線形に増えないようにします。

How it works

フレームワークは step-independent multi-turn rollout mechanism を実装しています。過去のすべてのターンを付加するのではなく、ステップごとの入力構造と履歴管理を完全にカスタマイズ可能にします。これにより、開発者は各ステップでモデルに渡す情報（例：直近のステップ、要約、重要イベント）を正確に定義でき、コンテキスト長をほぼ一定に保ちます。

veRL ライブラリと統合されており、さまざまな RL アルゴリズム（本プロジェクト独自の GiGPO を含む）や並列化された Gym スタイル環境をサポートし、高スループットの訓練を実現します。また、テキストのみとビジョン・ランゲージの両モーダルに対応しています。

Who it’s for

本ツールは、AI 研究者や開発者向けで、具象 AI（ALFWorld）やデジタルインターフェース（WebShop、AppWorld）からビジュアルゲーム（Sokoban）やツール呼び出し検索タスクまで、複雑なマルチステップタスクを扱う推論エージェントの構築に利用できます。

Highlights

  • Customizable Memory：柔軟なメモリモジュールにより、各ステップでどの履歴を含めるかを正確に選択可能。
  • Long-Horizon Scalability：時間が経過してもコンテキスト長を一定に保ち、30〜50 ステップのタスクに対応。
  • Broad Algorithm Support：GiGPO、GRPO、PPO、DAPO、GSPO、RLOO、REINFORCE++ の実装を含む。
  • Multi-Modal Capability：視覚認識が必要なタスク向けに、Qwen3-VL などを用いたビジョン・ランゲージエージェントの訓練をサポート。
  • Efficient Training：LoRA ファインチューニングをサポートし計算コストを削減、7B モデルを 2 枚の H100 GPU で訓練可能にします。