sugarforever/chat-ollama

解决的问题

ChatOllama 提供一个全面的开源聊天机器人平台，允许用户通过单一界面与多种大型语言模型（LLMs）进行交互。它通过将模型管理、基于文档的知识检索（RAG）以及外部工具执行（MCP）整合到一个可部署的应用程序中，解决了 AI 工具碎片化的问题。

工作原理

该平台基于 Nuxt 3 和 Nitro 构建，可连接 Ollama、OpenAI、Anthropic 和 Google Gemini 等多个 AI 提供商。它使用 Prisma ORM 与 PostgreSQL 进行数据管理，并支持 Chroma 和 Milvus 等向量数据库，以驱动其检索增强生成（RAG）功能。为实现扩展功能，平台实现了 Model Context Protocol（MCP），使 AI 能够通过 STDIO、SSE 或 HTTP 传输与外部工具（如文件系统或数据库）进行交互。

适用人群

适用于希望拥有支持本地模型（通过 Ollama）和商业 API 的自托管 AI 界面的用户，以及希望在平台上扩展自定义 AI 代理和外部工具的开发者。

主要亮点

• 多模型支持：兼容 OpenAI、Anthropic、Google Gemini、Groq、Moonshot 和 Ollama。
• AI 代理：支持具备工具访问能力的智能代理，用于研究和任务执行。
• RAG 集成：内置知识库，支持文档上传与检索。
• 模型上下文协议（MCP）：支持扩展工具集成，用于读写文件、查询数据库和网络搜索。
• 实时语音聊天：集成 Gemini 2.0 Flash 实现语音对话功能。
• 部署灵活性：可通过 Docker Compose 或手动开发安装轻松部署。