zylon-ai/private-gpt

解决的问题

PrivateGPT 是一个开源 API 层，允许开发者在不依赖云 API 的情况下，使用本地模型构建生产级 AI 应用程序。它通过提供 RAG、工具使用和结构化数据访问等高级构建模块，弥合了原始本地推理服务器（如 Ollama 或 vLLM）与完整功能的 AI 应用之间的差距。

工作原理

PrivateGPT 作为您的应用程序或代理与 OpenAI 兼容推理服务器之间的中间层。它本身并不运行模型；而是通过 OPENAI_API_BASE 连接到服务器，处理实际的 LLM 处理。它遵循 Claude API 规范，为消息、流式传输和工具编排提供标准化接口。

适用人群

希望使用标准化 API 与本地 LLM 集成，并避免从零开始重建后端基础组件的开发者，适用于构建私有、自托管的 AI 产品、代理或工作流。

主要亮点

• Claude API 兼容性：实现消息、流式传输和令牌计数的参考 API。
• 代理式 RAG：支持文件和工件的摄入、检索与引用。
• 内置工具：包含网络搜索、网页抓取和代码执行功能，支持自定义工具和 MCP 连接器。
• 数据访问：内置对数据库和 CSV 的结构化访问，支持表格分析。
• 工作台 UI：提供精美的 UI，用于测试、文档上传和 API 调试。