VectifyAI/PageIndex

它解决了什么问题

基于向量的 RAG 在处理长篇、复杂的专业文档时往往表现不佳，因为它依赖于语义相似度，而语义相似度并不总是等同于相关性。PageIndex 通过用基于推理的方法取代相似度搜索来解决这个问题，这种方法模拟了人类的阅读方式，确保检索过程具有上下文感知能力且可追溯。

工作原理

PageIndex 不使用向量数据库和分块（chunking），而是使用分层树索引。该过程包含两个主要步骤：

1. 索引：为每个文档生成一个树状结构索引（从布局中提取并由 LLM 进行优化）。
2. 检索：LLM 以代理（agentic）方式搜索这棵树，通过推理找到相关信息，而不是搜索相似的文本片段。

适用对象

它专为处理长篇、复杂专业文档的用户而设计，例如财务报告、法律文件、监管备案、技术手册、医学文献和学术教科书。

亮点

• 无向量架构：消除了对向量数据库和文本分块的需求。
• 基于推理的检索：利用 LLM 在树索引上进行推理，以查找相关信息。
• 结果可追溯：提供明确的引用，使检索过程相比“基于感觉的检索”（vibe retrieval）更具可解释性。
• 灵活部署：提供支持基于文本的 PDF 的本地模式，以及支持 OCR、图像理解和通过 PageIndex 文件系统进行语料库级索引的云版本。