sugarforever/chat-ollama

해결하는 문제

ChatOllama는 단일 인터페이스를 통해 다양한 대규모 언어 모델(LLM)과 상호작용할 수 있는 포괄적인 오픈소스 챗봇 플랫폼입니다. 모델 관리, 문서 기반 지식 검색(RAG), 외부 도구 실행(MCP)을 하나의 배포 가능한 애플리케이션으로 통합함으로써 분산된 AI 도구 문제를 해결합니다.

작동 방식

Nuxt 3와 Nitro로 구축된 이 플랫폼은 Ollama, OpenAI, Anthropic, Google Gemini 등 여러 AI 제공업체에 연결할 수 있습니다. 데이터 관리는 Prisma ORM과 PostgreSQL를 사용하며, Chroma와 Milvus와 같은 벡터 데이터베이스를 지원하여 검색 증강 생성(RAG) 기능을 구현합니다. 확장 기능으로 Model Context Protocol(MCP)을 구현하여 AI가 STDIO, SSE, HTTP 전송을 통해 외부 도구(파일 시스템 또는 데이터베이스 등)와 상호작용할 수 있도록 합니다.

대상 사용자

로컬 모델(Ollama를 통해)과 상용 API를 모두 지원하는 자체 호스팅 AI 인터페이스를 원하는 사용자, 그리고 사용자 정의 AI 에이전트와 외부 도구를 확장할 수 있는 플랫폼을 찾는 개발자에게 적합합니다.

주요 특징

• 다중 모델 지원: OpenAI, Anthropic, Google Gemini, Groq, Moonshot, Ollama와 호환됩니다.
• AI 에이전트: 연구 및 작업 실행을 위한 도구 접근 기능을 갖춘 지능형 에이전트를 지원합니다.
• RAG 통합: 문서 업로드 및 검색을 위한 내장 지식 기반을 제공합니다.
• Model Context Protocol(MCP): 파일 읽기/쓰기, 데이터베이스 쿼리, 웹 검색 등 확장 가능한 도구 통합을 가능하게 합니다.
• 실시간 음성 채팅: Gemini 2.0 Flash를 사용한 통합 음성 대화 기능.
• 배포 유연성: Docker Compose 또는 수동 개발 설치를 통해 간편하게 설정 가능합니다.