HKUDS/RAG-Anything

它解决了什么问题

传统的 RAG (Retrieval-Augmented Generation) 系统通常仅限于纯文本，难以解读包含图像、表格、数学公式和图表的复杂文档。RAG-Anything 提供了一个统一的框架来处理、索引和查询这些多样的多模态文档类型，而无需使用多个专用工具。

工作原理

它使用基于 LightRAG 框架构建的多阶段流水线。首先，它使用 MinerU 等工具解析文档（PDF、Office 文件等），将其分解为结构化元素。然后，它使用专门的分析器来解读视觉内容、表格和公式。这些元素被存储在一个多模态知识图谱中，该图谱捕获了语义内容和层次关系。最后，它使用一种混合检索系统，结合向量相似度搜索和图遍历，为用户查询提供上下文感知的答案。

适用对象

该框架专为处理复杂技术文档、财务报告或学术论文的研究人员、开发人员和企业而设计，这些文档中的信息分布在文本、视觉图表和结构化数据中。

亮点

• 端到端多模态流水线：处理从文档摄入和解析到智能问答的所有环节。
• 通用格式支持：处理 PDF、Office 文档 (DOCX, PPTX, XLSX)、图像等。
• 专用分析器：针对图像、表格和 LaTeX 数学表达式的专门处理。
• 多模态知识图谱：自动提取实体和跨模态关系，以提高检索准确性。
• 混合检索：结合向量搜索和基于图的遍历，以实现更好的上下文理解。