netease-youdao/QAnything

解決的問題

QAnything 是一個本地知識庫問答系統，允許使用者上傳各種檔案格式，並根據該資料接收準確、快速的答案。它專門解決大規模資料集中的檢索效能下降問題，確保準確度在新增更多資料時保持穩定或提升。

運作方式

該系統使用兩階段檢索流程，以在大規模資料集中維持高準確度：

1. 第一階段檢索（嵌入）： 使用 BCEmbedding 進行雙語和跨語言語意表示，以尋找相關文件。
2. 第二階段檢索（重新排序）： 精煉結果以確保顯示最相關的資訊，防止單階段 RAG 系統中常見的效能下降。

它基於 QwenLM，在專業問答資料集上進行了微調，並支援透過相容 OpenAI 的 API（包含 Ollama）與其他 LLM 整合。

適用對象

它專為需要高資料安全性（支援完全離線使用）、需要處理多種檔案類型（PDF、Word、PPT、XLSX、Markdown 等），以及希望進行硬體友善部署，能在 Windows、Mac 和 Linux 上的純 CPU 環境中執行的使用者和組織而設計。

亮點

• 高資料安全性： 支援完全離線安裝與使用。
• 跨語言支援： 支援在查詢和來源檔案的中英文之間切換。
• 兩階段檢索： 利用嵌入和重新排序，確保在大規模知識庫上達到 SOTA 效能。
• 廣泛的格式支援： 解析 PDF、Word、PPT、XLSX、Markdown、電子郵件、TXT、圖片、CSV 和網頁連結。
• 硬體友善： 預設為純 CPU 運作，並提供一鍵 Docker Compose 部署。