PromtEngineer/localGPT

解決的問題

LocalGPT 是一個私有的、在地部署的文件智能平台，允許使用者在不讓任何資料離開本地機器的情況下，查詢、總結並從自己的檔案中提取洞察。它透過提供完全在地的 RAG（檢索增強生成）系統，解決了與雲端式 AI 相關的隱私疑慮。

如何運作

LocalGPT 採用模組化架構，結合多種先進的檢索技術，確保高品質的回答：

• 混合搜尋：使用倒數排名融合（RRF）將密集向量搜尋與全文搜尋融合。
• 智慧路由：路由器判斷查詢是否需要 RAG（檢索文件）或可由 LLM 直接回答。
• 查詢分解：複雜問題被拆分成子問題，檢索後合成最終答案。
• 重排序：交叉編碼器重排序器對候選集進行優化，突出最相關的內容。
• 文件處理：使用 Docling 解析 PDF、DOCX、HTML、Markdown 和 TXT 檔案，對無文字的 PDF 提供 OCR 回退。
• 本地模型執行：與 Ollama 整合以執行生成與實用模型，並使用 HuggingFace 的嵌入與重排序模型。

適用對象

專為需要使用 AI 與私有文件互動，同時保持 100% 數據安全與隱私的個人或組織設計。

主要亮點

• 極致隱私：100% 在地部署執行；資料從不離開機器。
• 高階檢索：支援混合搜尋、校準重排序，以及可選的後期分塊與句子修剪。
• 多模型支援：可透過 Ollama 輕鬆更換生成模型，從 HuggingFace 取用嵌入模型。
• 開發者友善：提供後端與 RAG 核心的 RESTful API，支援自訂應用建置。
• 現代化介面：包含響應式 Web UI，用於索引與會話管理，並支援檢索過程的即時串流。