AgentR1/Agent-R1

Agent-R1: Training Powerful LLM Agents with End-to-End Reinforcement Learning

What it solves

Agent‑R1 は、マルチターンエージェントインタラクションの文脈において、LLM サービングシステムと分散トレーニングシステムの間にあるギャップを埋めます。単一ターンの RL パイプライン（インタラクションを長いプロンプト‑レスポンスシーケンスとして扱う）を置き換え、各ターンを個別のステップレベル・マルコフ決定過程（MDP）遷移として扱うフレームワークです。これにより、ツール使用、環境状態、報酬割り当てをより明示的かつ正確に管理できます。

How it works

フレームワークは rollout -> reward -> replay -> update ループで動作します。"エージェントステップ" を基本的なインタラクション単位とし、各ターンの観測、アクション、生成されたフィードバック、報酬を記録します。

トレーニングスタックとタスクロジックを分離するレイヤードアーキテクチャを採用しています:

  • AgentFlowBase: プロンプト構築とモデル呼び出しを管理。
  • AgentEnvLoop: モデル生成を環境の reset/step インターフェースに接続。
  • AgentEnv/ToolEnv: 環境ロジックとツール登録を定義。
  • BaseTool: 計算機や API など、実行可能ツールの標準インターフェース。

Who it’s for

強化学習を用いて意思決定とツール使用能力を向上させたい、マルチステップLLMエージェントを構築する AI 研究者・開発者向けです。学術論文検索、テーブル推論、ウェブショッピングなど、さまざまな環境で活用できます。

Highlights

  • ステップレベルMDP表現: 遷移を構造化データとして保存し、脆弱なテキスト再構築を回避。
  • 柔軟なコンテキスト管理: タスクの要件に応じて環境が履歴を切り詰め、要約、または書き換え可能。
  • アルゴリズム‑システムの分離: rollout、報酬、ポリシー目標を独立に進化させられる。
  • 幅広いアルゴリズムサポート: GRPO、PPO、REINFORCE、RLOO、そして StepPO に対応。