SaiAkhil066/CORTEX-AI-SUPER-RAG

CORTEX RAG is an enterprise retrieval and knowledge assistant that helps teams find accurate answers from company data with citations, permission-aware retrieval, and fast deployment

解決的問題

Cortex RAG 是一個本地檢索增強生成(RAG)系統,允許使用者上傳文件並提問,而無需依賴雲端服務、API 金鑰或訂閱。它透過實作多層管道來克服基礎 RAG 的限制,提升檢索準確性、減少雜訊,並提供透明的推理過程。

工作原理

該系統透過 9 層管道處理文件(PDF、DOCX、TXT、MD):

  1. 索引建立:建立三個獨立索引(BM25、FAISS 和 NetworkX 知識圖譜),並可選擇使用 LLM 為文字區塊添加周圍上下文。
  2. 查詢處理:使用語意快取對重複問題即時回應答案,並透過 RAG-Fusion 將單一查詢擴展為多個變體以提高召回率。
  3. 檢索與精煉:使用 Reciprocal Rank Fusion (RRF) 合併向量搜尋與圖搜尋結果,應用神經重排序器(Cross-Encoder)優先選擇最相關段落,並使用 Corrective RAG (CRAG) 剔除無關區塊。
  4. 生成:最終答案由本地 LLM 透過 Ollama 生成,並配有即時推理面板,可串流顯示模型的思維鏈過程。

適用對象

適用於需要私有本地 AI 助手進行文件分析的使用者,以及希望在自有基礎設施上運行生產級 RAG 系統的組織。

核心亮點

  • 本地優先:完全在使用者機器上使用 Ollama 運行,確保資料隱私且零雲端依賴。
  • 高階檢索:結合向量搜尋、稀疏檢索(BM25)與 GraphRAG,提供全面上下文。
  • 高準確度:採用神經重排序與 CRAG 在生成前過濾雜訊。
  • 推理透明:包含即時推理面板,可觀察模型內部思考過程。
  • 靈活模型支援:相容任何 Ollama 模型,包括 Llama 3.1、Qwen 2.5 與 Mistral。

相關

  • 專案
  • 專案
  • 專案
  • 專案