zylon-ai/private-gpt

解決的問題

PrivateGPT 是一個開源 API 層，讓開發者能不依賴雲端 API，使用本地模型建構生產級 AI 應用程式。它透過提供 RAG、工具使用與結構化資料存取等高階建構模組，彌補原始本地推論伺服器（如 Ollama 或 vLLM）與完整功能 AI 應用之間的差距。

工作原理

PrivateGPT 作為您的應用程式或代理與 OpenAI 相容推論伺服器之間的中介層。它本身不執行模型；而是透過 OPENAI_API_BASE 連接到伺服器，處理實際的 LLM 處理。它遵循 Claude API 規範，提供訊息、串流與工具編排的標準化介面。

適用對象

希望使用標準化 API 與本地 LLM 整合，並避免從零開始重建後端基礎元件的開發者，適用於建構私有、自托管的 AI 產品、代理或工作流程。

主要亮點

• Claude API 相容性：實作訊息、串流與權杖計數的參考 API。
• 代理式 RAG：支援檔案與工件的納入、檢索與引用。
• 內建工具：包含網路搜尋、網頁抓取與程式碼執行功能，支援自訂工具與 MCP 連接器。
• 資料存取：內建對資料庫與 CSV 的結構化存取，支援表格分析。
• 工作台 UI：提供精緻的 UI，用於測試、文件上傳與 API 調試。