skygazer42/MimirQ

解决的问题

MimirQ 专为企业级 RAG（检索增强生成）设计，其核心挑战不仅在于文档向量化，更在于确保错误可定位、策略可替换、质量可进行回归测试。它通过提供一个可控的知识管道，解决了简单 RAG 流水线的“黑箱”问题，使从解析、清洗到分块、检索的每一步都可被检查、审计和版本化。

工作原理

该系统实现了一个结构化的知识管道：数据评估 → 基于场景的解析 → 清洗/治理 → 业务分块 → 索引 → 混合检索 → 重排序 → 黄金回归。

支持大量可替换的模块化组件，可根据文档类型或业务需求灵活切换：

• 解析：支持超过 30 种后端，包括 DeepDoc、Docling、MinerU 和 Marker。
• 分块：提供 86 种不同的策略（语义、递归、父子、RAPTOR 等），并支持可视化预览。
• 检索：结合 Milvus、FAISS 或 Chroma 与 BM25、SPLADE 和 ColBERT 实现混合搜索。
• 评估：采用「黄金数据集」方法进行回归测试，使用 Recall 和 MRR 等指标确保版本间质量不下降。
• 集成：可作为独立系统运行，也可通过 External Knowledge API 作为 Dify 的专用 RAG 层使用。

适用对象

适用于交付专业知识库（如政府服务）的团队，这些团队需要高精度、严格的审计追踪，以及在部署前执行严格的质量保证。

核心亮点

• 极致模块化：无需重建整个管道，即可在数十种解析器、分块策略和重排序器之间自由切换。
• 可观测性：提供可视化工具，用于检查分块结果、检索轨迹和重排序过程。
• 企业级治理：支持文档级 ACL（访问控制列表）、安全裁剪和 SAML SSO。
• 回归测试：内置「黄金」问题集，防止更新过程中质量下降。
• Dify 兼容性：原生支持 Dify 的 External Knowledge API，可作为 Dify 工作流的高精度检索引擎。