facebookresearch/meta-agents-research-environments

What it solves

AI agent 评估通常依赖于无法反映现实世界不可预测性的静态基准测试。本项目提供了一个平台，用于在动态环境中测试代理，这些环境中的条件会发生变化并出现新信息，要求代理实时调整其策略。

How it works

ARE 创建由“Apps”（例如电子邮件或日历）和“Events”（动态变化）组成的模拟环境，这些环境构成了复杂的“Scenarios”。代理使用 ReAct (Reasoning + Acting) 框架与这些环境进行交互。该平台包含 Gaia2 基准测试，其特点是在 10 个宇宙中提供 800 个场景，用于测试多步推理和适应能力。

Who it’s for

构建自主代理的 AI 研究人员和开发人员，他们需要一种严谨、现实的方法来评估其代理处理长程任务和不断变化的信息的能力。

Highlights

• Dynamic Scenarios: 随着时间推移而演变的，而非仅仅是静态问答的环境。
• Gaia2 Benchmark: 一个全面的套件，包含 800 个专为复杂、多步推理（10+ 步）设计的场景。
• Omnilingual-Gaia2: 一个支持 10 种不同语言的多语言扩展。
• Interactive GUI: 一个基于 Web 的界面，用于实时监控代理并以有向无环图 (DAGs) 的形式可视化任务执行。
• Broad Model Support: 与 LiteLLM 的集成允许在各种基于 API 的和本地 LLM 提供商之间轻松切换。