ServiceNow/AgentLab

解决的问题

AgentLab 旨在通过提供一个统一的框架来加速网页代理研究，该框架支持代理在网页浏览器中的开发、测试和评估。它简化了在多个基准测试上运行大规模实验、管理 LLM API 以及分析代理行为结果的过程。

工作原理

AgentLab 与 BrowserGym 集成，提供代理创建的构建模块。它使用 Ray 实现代理任务的大规模并行执行，使研究人员能够在不同种子和配置下运行数千个任务。该框架提供统一的 LLM API，支持 OpenRouter、OpenAI、Azure 以及自托管的 TGI 模型。此外，还包含结果分析工具，例如实验数据的懒加载器和 AgentXray，一个基于 Gradio 的可视化工具，用于追踪代理步骤、操作和截图。

适用人群

主要面向开发网页导航代理的 AI 研究人员和开发者，而非面向消费者的產品。

主要亮点

• 广泛的基准支持：支持 WebArena、WorkArena、VisualWebArena 和 OSWorld 等多种基准测试。
• 并行执行：利用 Ray 实现代理实验的大规模并行化，并内置超时管理机制，防止任务挂起。
• 可视化调试：包含 AgentXray，用于可视化分析代理步骤、操作和截图。
• 可复现性工具：提供专用的 ReproducibilityAgent 和可复现性日志，用于追踪软件版本和 LLM 变更。
• 统一 API：提供单一接口，用于与各种 LLM 提供商交互。