skygazer42/MimirQ

解決的問題

MimirQ 專為企業級 RAG（檢索增強生成）設計，其核心挑戰不僅在於文件向量化，更在於確保錯誤可定位、策略可替換、品質可進行回歸測試。它透過提供一個可控制的知識管道，解決了簡單 RAG 流水線的「黑箱」問題，使從解析、清洗到分塊、檢索的每一步皆可被檢查、審計與版本化。

工作原理

該系統實現了一個結構化的知識管道：資料評估 → 情境導向解析 → 清洗/治理 → 業務分塊 → 索引 → 混合檢索 → 重排序 → 黃金回歸。

支援大量可交換的模組化元件，可根據文件類型或業務需求靈活切換：

• 解析：支援超過 30 種後端，包括 DeepDoc、Docling、MinerU 和 Marker。
• 分塊：提供 86 種不同的策略（語意、遞迴、父子、RAPTOR 等），並支援視覺化預覽。
• 檢索：結合 Milvus、FAISS 或 Chroma 與 BM25、SPLADE 和 ColBERT 實現混合搜尋。
• 評估：採用「黃金資料集」方法進行回歸測試，使用 Recall 和 MRR 等指標確保版本間品質不下降。
• 整合：可作為獨立系統運行，也可透過 External Knowledge API 作為 Dify 的專用 RAG 層使用。

適用對象

適用於交付專業知識庫（如政府服務）的團隊，這些團隊需要高精度、嚴格的審計追蹤，以及在部署前執行嚴格的品質保證。

核心亮點

• 極致模組化：無需重建整個管道，即可在數十種解析器、分塊策略和重排序器之間自由切換。
• 可觀測性：提供視覺化工具，用於檢查分塊結果、檢索軌跡和重排序過程。
• 企業級治理：支援文件級 ACL（存取控制清單）、安全裁剪和 SAML SSO。
• 回歸測試：內建「黃金」問題集，防止更新過程中品質下降。
• Dify 兼容性：原生支援 Dify 的 External Knowledge API，可作為 Dify 工作流的高精度檢索引擎。