ggozad/haiku.rag

解決的問題

Haiku RAG 提供了一個從文件檢索資訊的全面系統，允許使用者對數據進行提問並進行複雜的分析。它透過對文件進行索引並檢索最相關的文本與圖像區塊，同時提供原始素材的引用，解決了 LLM 上下文窗口受限的問題。

工作原理

該系統結合使用向量搜尋與全文搜尋（混合搜尋）以及 Reciprocal Rank Fusion 來尋找相關內容。它整合了 Docling 以實現文件結構感知，並使用 LanceDB 進行本地優先的嵌入式儲存。對於進階查詢，它使用具備視覺能力的模型來分析文件內嵌入的圖像，並使用沙盒 Python 環境來執行聚合與計算等分析任務的程式碼。

適用對象

需要支援多模態搜尋（文本與圖像）、本地優先儲存，以及透過 Model Context Protocol (MCP) 與 AI 助手集成的生產級 RAG 系統的開發人員與研究人員。

亮點

• 多模態搜尋：支援以文本作為查詢來尋找圖像，以及以圖像作為查詢進行檢索。
• 代理能力：包含用於複雜分析任務的沙盒 Python 環境與多輪對話記憶。
• 生產級攝取器：具有持久隊列與工作池的長期運行服務，可從 S3、HTTP 與本地檔案系統進行持續索引。
• 可擴展的提供者支援：相容於包括 Ollama、OpenAI 與 vLLM 在內的多種嵌入與問答提供者。
• 視覺落地 (Visual Grounding)：允許使用者在原始頁面圖像上查看高亮顯示的區塊以進行驗證。