facebookresearch/meta-agents-research-environments

解决的问题

AI代理评估通常依赖静态基准，无法反映现实世界的不可预测性。该平台提供动态、持续演化的环境，代理必须在新信息出现时调整其策略，需要多步推理（通常超过10步）来完成复杂且具有现实基础的任务。

工作原理

系统通过组合四个核心组件来模拟现实场景：

• 代理：使用 ReAct（推理 + 行动）框架与环境交互的AI实体。
• 应用：模拟的交互式应用（如日历、邮件、文件系统），为代理提供API。
• 事件：随时间改变环境状态的动态触发器。
• 场景：整合应用和事件并具有特定验证逻辑的综合任务，用于衡量成功。

包含 Gaia2 基准测试，涵盖10个“宇宙”中的800个场景，并提供多语言扩展 Omnilingual-Gaia2。还支持 Sequential Gaia2，其中代理可在一系列相关场景中保持记忆和状态。

适用对象

需要严格测试多步推理、适应性及现实世界落地能力的AI研究人员和开发者，超越简单的提示-响应对。

主要亮点

• 动态基准测试：超越静态测试，提供任务过程中持续演化的环境。
• Gaia2 套件：涵盖多个领域的800个场景的综合性评估集。
• 多语言支持：Omnilingual-Gaia2 扩展支持在10种不同语言中评估代理。
• 交互式GUI：基于Web的界面，支持实时代理监控和场景执行的DAG可视化。
• 广泛模型支持：与 LiteLLM 集成，支持多种AI模型提供商和本地部署。