AgentR1/Agent-R1

Agent-R1: Training Powerful LLM Agents with End-to-End Reinforcement Learning

What it solves

Agent-R1 解決了在多回合代理互動情境下，LLM 服務系統與分散式訓練系統之間的鴻溝。它取代了單回合 RL 流程——將互動視為一長串提示‑回應序列——改為將每一次回合視為獨立的步驟層級馬可夫決策過程（MDP）轉移。這使得工具使用、環境狀態與獎勵分配能夠更明確、精確地管理。

How it works

此框架運作於 rollout -> reward -> replay -> update 迴圈。它將「代理步驟」視為基本互動單位，為每一次回合記錄觀測、行動、產生的回饋與獎勵。

它採用分層架構，將訓練堆疊與任務邏輯解耦：

  • AgentFlowBase：管理提示建構與模型呼叫。
  • AgentEnvLoop：將模型產生連接至環境的 reset/step 介面。
  • AgentEnv/ToolEnv：定義環境邏輯與工具註冊。
  • BaseTool：可執行工具的標準介面（例如計算機或 API）。

Who it’s for

適合需要透過強化學習提升決策與工具使用能力的 AI 研究者與開發者，尤其是建構多步驟 LLM 代理人，應用於各種環境（如學術論文搜尋、表格推理、或網路購物）。

Highlights

  • 步驟層級 MDP 表徵：透過結構化資料儲存轉移，避免脆弱的文字重建。
  • 彈性情境管理：允許環境根據任務需求截斷、摘要或重寫歷史。
  • 演算法‑系統解耦：使 rollout、獎勵與策略目標能獨立演進。
  • 廣泛演算法支援：相容於 GRPO、PPO、REINFORCE、RLOO，以及 StepPO。