SalesforceAIResearch/MCP-Universe

解決する課題

MCP-Universe は、Model Context Protocol (MCP) を使用する AI エージェントを構築、最適化、評価するための包括的なエコシステムを提供します。単純なタスクではなく、長期間の推論や大規模で不慣れなツール空間との対話といった実世界のシナリオで LLM をテストすることで、既存のベンチマークのギャップを埋めます。

仕組み

このプロジェクトはいくつかのレイヤーで構成されています。

• Foundation Layer: MCP サーバー/クライアント、複数のプロバイダーにわたる LLM 統合、およびメモリシステムを管理します。
• Agent Layer: Basic、ReAct、FunctionCall エージェントなど、さまざまなエージェントタイプを実装します。
• Orchestration Layer: ワークフロー（チェーン、ルーター）とベンチマーク評価エンジンを処理します。
• Application Layer: 対話のための Gradio ダッシュボード、Web API、および Python ライブラリを提供します。

冗長なツール出力をフィルタリングしてトークンコストを削減する MCP+ や、並列ツール呼び出しを使用して研究効率を向上させる Wide & Deep (W&D) 研究エージェント などの特殊なコンポーネントが含まれています。

対象ユーザー

• AI エージェント開発者: MCP を介して外部ツールと対話する必要がある、本番環境対応のエージェントを構築する開発者。
• LLM 研究者: 金融分析、3D デザイン (Blender)、リポジトリ管理などのドメインにわたる実世界のタスクでエージェントのパフォーマンスをベンチマークする必要がある研究者。

ハイライト

• 実世界のベンチマーク: Web 検索、位置ナビゲーション、ブラウザ自動化など、多様なドメインでエージェントを評価します。
• MCP+ コンテキスト管理: LLM のトークンコストを 50〜75% 削減できる、MCP クライアントのドロップイン代替品です。
• Wide & Deep 研究: 並列ツール呼び出し機能により、精度を向上させ、詳細な研究タスクの壁時計時間を短縮します。
• カスタムベンチマーク作成: JSON を介してカスタムタスクを定義し、正解検証のための特定の評価者をサポートします。