verl-project/uni-agent

Uni‑Agent：大规模训练长时程智能体

它是什么 – Uni‑Agent 是一个开源框架，允许你将任何基于 LLM 的“智能体框架”（例如 Claude Code、Mini‑SWE‑Agent）接入统一的训练和推理管道。它为智能体、工具、任务和沙盒执行环境提供了抽象，然后并行运行数千个有状态会话，以便你收集可追踪的轨迹，用于监督微调（SFT）或强化学习（RL）。

核心理念

• 网关 – 一个轻量级服务，接收提示字符串，将其转发到所选模型端点（兼容 OpenAI 或 Anthropic），并返回生成的令牌。任何现有框架都可以连接到这个网关。
• 模块化抽象 – Agent、Tool、Task 和 Sandbox 是独立的可复用组件。你可以在不接触堆栈其他部分的情况下替换工具（例如代码执行器）或任务定义。
• 大规模并发 – 分布式工作进程启动隔离的沙盒（通过 veFaaS 或 Modal），池化网关会话，并调度异步交互。系统可以处理 1000 多个并发的长时程会话，同时将每个轨迹、日志和奖励与会话关联。
• 可复现的配方 – 仓库附带可直接运行的示例配置、基准测试脚本和结果表格，以便你自行验证数据。

典型工作流程

1. 安装 库（文档涵盖了 verl 的额外功能，如 colocate_async）。
2. 启动沙盒 – 在本地或云提供商上；沙盒隔离智能体的工具使用和状态。
3. 运行推理 – 通过网关启动大量智能体，以生成评估数据或基准分数。
4. 使用 RL 训练 – 使用相同的交互堆栈进行强化学习循环（GRPO/GSPO 风格目标、部分回滚）。示例训练脚本位于 examples/quickstart/training/。

性能亮点（来自 README）

• 并行推理 在 SWE‑Bench Verified 和 Terminal‑Bench 等基准测试上，使用 480 B Qwen3‑Coder 模型取得了 64.2% 的分数。
• RL 改进 – 例如，R2E‑Gym 数据集上的 ReAct 智能体在 RL 后从 22.2% 的基础分数提高到 36.8%；其他模型/智能体组合也显示出类似的提升。
• Qwen3.5‑4B RL 运行使用了 64 块 H100 GPU，并在 SWE‑Bench Verified 上于第 50 步达到峰值。

为什么重要 – 训练能够在许多步骤（数百轮，>100 K 令牌）中进行规划的智能体计算量很大。Uni‑Agent 抽象化了底层细节（沙盒管理、异步调度、数据收集），使研究人员可以专注于智能体逻辑、奖励设计或模型改进。

运行环境 – 支持无服务器后端，如 veFaaS（火山引擎）和 Modal，用于弹性沙盒配置，但也可以在本地开发环境中运行。

快速开始 – 文档提供了快速入门指南，涵盖安装、沙盒启动、推理和 RL 训练。示例配置完全可运行，路线图（issue #79）列出了即将推出的功能。

许可证 – Apache 2.0。

---

所有细节均直接取自仓库的 README；不进行额外声明。