SalesforceAIResearch/MCP-Universe

해결하는 문제

MCP-Universe는 Model Context Protocol (MCP)을 사용하는 AI 에이전트를 구축, 최적화 및 평가하기 위한 포괄적인 생태계를 제공합니다. 단순한 작업이 아닌, 장기 추론이나 대규모의 익숙하지 않은 도구 공간과의 상호 작용과 같은 실제 시나리오에서 LLM을 테스트함으로써 기존 벤치마크의 격차를 해소합니다.

작동 방식

이 프로젝트는 여러 계층으로 구성됩니다.

• Foundation Layer: MCP 서버/클라이언트, 여러 공급자에 걸친 LLM 통합 및 메모리 시스템을 관리합니다.
• Agent Layer: Basic, ReAct, FunctionCall 에이전트를 포함한 다양한 에이전트 유형을 구현합니다.
• Orchestration Layer: 워크플로우(체인, 라우터) 및 벤치마크 평가 엔진을 처리합니다.
• Application Layer: 상호 작용을 위한 Gradio 대시보드, Web API 및 Python 라이브러리를 제공합니다.

장황한 도구 출력을 필터링하여 토큰 비용을 절감하는 **MCP+**와 병렬 도구 호출을 사용하여 연구 효율성을 높이는 Wide & Deep (W&D) 연구 에이전트와 같은 특수 구성 요소가 포함되어 있습니다.

대상 사용자

• AI 에이전트 개발자: MCP를 통해 외부 도구와 상호 작용해야 하는 프로덕션 수준의 에이전트를 구축하는 개발자.
• LLM 연구원: 금융 분석, 3D 디자인 (Blender), 리포지토리 관리와 같은 도메인 전반의 실제 작업에서 에이전트 성능을 벤치마킹해야 하는 연구원.

주요 특징

• 실제 벤치마킹: 웹 검색, 위치 탐색, 브라우저 자동화 등 다양한 도메인에서 에이전트를 평가합니다.
• MCP+ 컨텍스트 관리: LLM 토큰 비용을 50~75% 절감할 수 있는 MCP 클라이언트의 드롭인 대체품입니다.
• Wide & Deep 연구: 병렬 도구 호출 기능을 통해 정확도를 높이고 심층 연구 작업의 실제 소요 시간을 단축합니다.
• 사용자 지정 벤치마크 생성: JSON을 통해 사용자 지정 작업을 정의하고, 정답 검증을 위한 특정 평가자를 지원합니다.