Marker-Inc-Korea/AutoRAG

What it solves

AutoRAG 是一個「圖書館管理員代理」 (librarian agent)，旨在取代傳統僅提供檔案路徑列表和匹配行數的搜尋工具。AutoRAG 不再強迫使用者手動開啟檔案、閱讀上下文並綜合答案，而是跨越各種文件集進行搜尋，直接閱讀原始資料，並整理出結構化、編號的知識單元（答案），讓使用者可以立即採取行動。

How it works

AutoRAG 作為一個專門的搜尋代理（基於 Pi agent loop），使用單一配置的模型來管理整個檢索、閱讀、判斷和整理的循環。它採用了幾個關鍵機制：

• Pluggable Retrieval: 它支援多種搜尋策略，包括字面模式匹配 (grep)、語義向量搜尋和關鍵字排名 (BM25)，通常將它們結合為混合檢索。
• Direct File Access: 代理使用內建的 bash 工具，直接從配置的目錄中開啟並閱讀原始資料。
• Self-Evolving Memory: 它會從每次搜尋中學習，追蹤哪些檢索方法和文件區域對特定查詢最有效，並納入使用者回饋以隨時間改進。
• Advanced PDF Handling: 它使用預設解析器，並針對稀疏或多頁的 PDF 提供 docling-fast 作為混合後端備援方案，以確保高品質的擷取。
• Datasource Skills: 它可以透過外部 CLI 工具（例如 wacrawl, slacrawl, discrawl）與外部資料來源（例如 Slack, Discord, Notion, GitHub, Gmail, Obsidian）整合，將外部通訊與知識庫帶入同一個檢索流程中。

Who it’s for

管理大量且碎片化的文件集（PDFs, wikis, notes, research papers）以及外部通訊管道（chat apps, email, cloud drives）的使用者，且需要一個能提供綜合答案而非僅是搜尋結果列表的系統。

Highlights

• Curated Answers: 回傳結構化的知識單元，而非原始檔案路徑。
• Self-Improving: 透過使用過程學習檢索策略和高效的文件區域。
• Multi-Modal Retrieval: 針對不同文件類型結合 BM25, vector, 和混合搜尋。
• Extensive Datasource Integration: 透過 rclone 連接至廣泛的平台，包括 KakaoTalk, WhatsApp, Telegram, Slack, Discord, Notion, GitHub, Gmail, 以及雲端硬碟。
• Duplicate Management: 與 dupey 整合，在索引期間偵測並排除完全重複的文件。
• Optional Discovery: 可以選擇加入 Jikji 以獲得先尋找後發現的探索與索引層。