PromtEngineer/localGPT

解决的问题

LocalGPT 是一个私有的、本地部署的文档智能平台，允许用户在不将任何数据离开本地机器的情况下，查询、总结并从自己的文件中提取洞察。它通过提供完全本地化的 RAG（检索增强生成）系统，解决了与基于云的 AI 相关的隐私问题。

如何工作

LocalGPT 采用模块化架构，结合多种先进的检索技术，确保高质量的回答：

• 混合搜索：使用倒数排名融合（RRF）将密集向量搜索与全文搜索融合。
• 智能路由：路由器决定查询是否需要 RAG（检索文档）或可由 LLM 直接回答。
• 查询分解：复杂问题被拆分为子问题，检索后合成最终答案。
• 重排序：交叉编码器重排序器对候选集进行优化，突出最相关的内容。
• 文档处理：使用 Docling 解析 PDF、DOCX、HTML、Markdown 和 TXT 文件，对无文本的 PDF 提供 OCR 回退。
• 本地模型执行：与 Ollama 集成以执行生成和实用模型，并使用 HuggingFace 的嵌入和重排序模型。

适用人群

专为需要使用 AI 与私有文档交互，同时保持 100% 数据安全和隐私的个人或组织设计。

主要亮点

• 极致隐私：100% 本地部署执行；数据从不离开机器。
• 高级检索：支持混合搜索、校准重排序，以及可选的后期分块和句子修剪。
• 多模型支持：可通过 Ollama 轻松更换生成模型，从 HuggingFace 获取嵌入模型。
• 开发者友好：提供后端和 RAG 核心的 RESTful API，支持自定义应用构建。
• 现代界面：包含响应式 Web UI，用于索引和会话管理，并支持检索过程的实时流式传输。