PageIndex:一種無向量的 RAG 引擎,透過基於推理的樹狀檢索取代相似性搜尋,專為複雜文件設計
解決的問題
傳統基於向量的檢索增強生成 (RAG) 通常依賴語義相似性,這在處理複雜的專業文件時,可能無法找到真正相關的資訊。PageIndex 透過將基於相似性的搜尋替換為基於推理的檢索來解決此問題,確保系統是根據相關性和上下文理解來尋找資訊,而不僅僅是尋找聽起來相似的文本。
運作原理
PageIndex 將長文件轉換為層級化的樹狀結構索引(類似於詳細的目錄),而不是將其拆分為人工切分的區塊 (chunks)。接著,它利用 LLM 進行代理式樹狀搜尋 (agentic tree search),透過對索引進行推理,導航至文件中最相關的章節。這個過程模擬了人類專家閱讀和瀏覽複雜文件的行為,使檢索過程具有可追溯性與可解釋性。
適用對象
專為處理長篇且複雜的專業文件用戶設計,例如財務報告、法律文件、監管文件、技術手冊和學術教科書。
重點特性
- 無向量 RAG:無需向量資料庫和分塊 (chunking)。
- 推理驅動:使用基於 LLM 的樹狀搜尋進行上下文感知檢索。
- 高準確度:在 FinanceBench 基準測試中達到 98.7% 的準確度。
- 可追溯結果:基於明確的頁碼和章節引用,提供更好的可解釋性。
- 靈活部署:提供自託管開源工具、雲端服務或企業級部署方案。