sugarforever/chat-ollama

解決的問題

ChatOllama 提供一個全面的開源聊天機器人平台，允許使用者透過單一介面與多種大型語言模型（LLMs）互動。它透過將模型管理、基於文件的知識檢索（RAG）以及外部工具執行（MCP）整合至一個可部署的應用程式中，解決了 AI 工具碎片化問題。

如何運作

此平台以 Nuxt 3 和 Nitro 建構，可連接 Ollama、OpenAI、Anthropic 和 Google Gemini 等多個 AI 提供商。使用 Prisma ORM 與 PostgreSQL 進行資料管理，並支援 Chroma 和 Milvus 等向量資料庫，以驅動其檢索增強生成（RAG）功能。為擴展功能，平台實作了 Model Context Protocol（MCP），讓 AI 可透過 STDIO、SSE 或 HTTP 傳輸與外部工具（如檔案系統或資料庫）互動。

適用對象

適用於希望擁有支援本地模型（透過 Ollama）與商業 API 的自架式 AI 界面的使用者，以及尋找可擴展自訂 AI 代理與外部工具之平台的開發者。

主要特色

• 多模型支援：相容 OpenAI、Anthropic、Google Gemini、Groq、Moonshot 與 Ollama。
• AI 代理：支援具備工具存取能力的智慧代理，用於研究與任務執行。
• RAG 整合：內建知識庫，支援文件上傳與檢索。
• 模型上下文協定（MCP）：可擴展的工具整合，支援讀取/寫入檔案、查詢資料庫與網路搜尋。
• 即時語音聊天：整合 Gemini 2.0 Flash 實現語音對話功能。
• 部署彈性：可透過 Docker Compose 或手動開發安裝輕鬆設定。