SalesforceAIResearch/MCP-Universe

解决的问题

MCP-Universe 提供了一个完整的生态系统，用于构建、优化与评估使用 Model Context Protocol (MCP) 的 AI 代理。它填补了现有基准测试的空白，通过真实世界场景（例如长程推理与与大型、陌生工具空间的互动）来测试 LLM，而非仅仅进行简单任务。

运作方式

该项目分为几个层级：

• 基础层 (Foundation Layer)：管理 MCP 服务器/客户端、跨多个供应商的 LLM 整合以及内存系统。
• 代理层 (Agent Layer)：实现各种类型的代理，包括 Basic、ReAct 与 FunctionCall 代理。
• 编排层 (Orchestration Layer)：处理工作流程（链、路由器）与基准评估引擎。
• 应用层 (Application Layer)：提供用于互动的 Gradio 仪表板、Web API 与 Python 库。

它包含专门的组件，例如 MCP+（通过过滤冗长的工具输出来降低 Token 成本）以及 Wide & Deep (W&D) 研究代理（使用并行工具调用来提高研究效率）。

目标对象

• AI 代理开发者：需要通过 MCP 与外部工具互动并构建生产级代理的开发者。
• LLM 研究人员：需要在金融分析、3D 设计 (Blender) 与仓库管理等领域，对真实世界任务进行代理性能基准测试的人员。

特色亮点

• 真实世界基准测试：评估代理在网络搜索、位置导航与浏览器自动化等多样领域的表现。
• MCP+ 上下文管理：MCP 客户端的直接替代方案，可降低 50-75% 的 LLM Token 成本。
• Wide & Deep 研究：并行工具调用能力，可提高准确性并缩短深度研究任务的实际耗时。
• 自定义基准测试创建：支持通过 JSON 定义自定义任务，并具备用于验证基准事实的特定评估器。