jonigl/mcp-client-for-ollama

해결하는 문제

ollmcp는 Ollama를 통해 로컬 LLM을 사용할 때 Model Context Protocol (MCP)를 사용하여 외부 도구 및 데이터 소스와 상호작용할 수 있는 터미널 기반 클라이언트입니다. 로컬 모델 추론과 표준화된 프로토콜을 통해 코드 실행, 파일 읽기, API 접근 기능 사이의 격차를 메우며, 도구를 사용하는 에이전트를 위한 안전하고 인터랙티브한 환경을 제공합니다.

작동 방식

이 애플리케이션은 STDIO, SSE, 또는 Streamable HTTP와 같은 다양한 전송 방식을 통해 하나 이상의 MCP 서버에 연결하는 TUI(터미널 사용자 인터페이스)로 작동합니다. LLM과 이러한 서버 간의 통신을 관리하며, 도구 호출, 프롬프트 템플릿, 리소스 검색을 처리합니다. 사용자가 도구 실행을 실행하기 전에 승인해야 하는 "인간이 중간에 개입하는(Human-in-the-Loop)" 안전 메커니즘과 반복적인 도구 실행 루프를 지원하는 "에이전트 모드"를 포함합니다.

대상 사용자

자율적 또는 반자율적 작업에 로컬 LLM을 사용하고 싶은 개발자 및 AI 애호가, MCP 서버를 테스트하거나, 각 도구에 맞는 맞춤 통합 코드를 작성하지 않고도 에이전트 워크플로우를 구축하고 싶은 사람들을 위한 것입니다.

주요 기능

• 다중 서버 지원: 다양한 전송 유형으로 동시에 여러 MCP 서버에 연결 가능.
• 에이전트 모드: 설정 가능한 루프 제한을 지원하는 반복적인 도구 실행을 제공.
• 인간이 중간에 개입하는(HIL): 도구 실행을 검토하고 승인하여 보안을 강화.
• 광범위한 제공자 지원: Ollama에 최적화되어 있지만, DeepSeek 및 OpenRouter와 같은 OpenAI 호환 제공자도 지원.
• 사고 모드: 추론 모델(예: DeepSeek-R1)의 가시적 사고 과정을 제공.
• 풍부한 TUI: 퍼지 자동 완성, 스트리밍 응답, 도구 출력의 JSON 구문 강조 표시 기능을 갖춤.