HKUDS/RAG-Anything

解决的问题

传统的RAG系统主要聚焦于文本，难以处理包含图像、表格和数学公式等混合内容的文档。RAG-Anything提供了一个一体化框架，无需多个专用工具，即可在单一系统内无缝处理和查询所有这些模态的内容。

工作原理

基于LightRAG实现多阶段多模态流水线：

1. 文档解析：使用MinerU从PDF、Office文档和图像中高保真地提取文本、视觉元素和表格。
2. 内容分析：自动分类内容，并将其路由至专用分析器（例如，图像用的视觉内容分析器、表格用的结构化数据解释器、LaTeX公式用的数学表达式解析器）。
3. 知识图谱索引：将多模态元素转换为结构化实体，并映射跨模态关系，保留原始文档的层级结构。
4. 模态感知检索：结合向量相似性搜索与图遍历，检索内容，并使用自适应排序根据查询的模态偏好对结果进行加权。

适用人群

本工具专为处理丰富混合内容文档的用户设计，尤其适用于学术研究、技术文档、财务报告和企业知识管理领域。

核心亮点

• 端到端流水线：从数据摄入、解析到多模态查询回答，全程自动化处理。
• 通用格式支持：支持PDF、Office文件（DOCX、PPTX、XLSX）和图像。
• 多模态知识图谱：自动提取实体并发现不同内容类型之间的关系。
• VLM增强查询：集成视觉语言模型（VLM），联合分析图像与文本上下文，获得更深入洞察。
• 混合检索机制：融合向量搜索与图遍历，实现更全面的信息恢复。