Knowhere – 将非结构化文档转化为 AI 代理就绪的内存

它是什么

Knowhere 是一个开源后端，可摄取各类非结构化文件（PDF、PowerPoint、Word、图片、markdown 等），对其进行解析，并将结果存储到 AI 代理可查询的层级原生内存图谱中。

• 双轨解析 – 文本轨道保留可靠的文本结构，而视觉轨道使用视觉语言模型来理解复杂页面（例如扫描的 PDF 或幻灯片）。两条轨道输出相同的区块与元数据架构。
• 代理中立检索 – 系统提供单一语料库 API，包含大纲导航、结构过滤、精确/模糊搜索以及全页阅读工具。代理可自行决定何时以及如何调用这些工具。
• 跨文档图谱 – 提取的实体、表格和图片成为链接相关文档的节点，实现“知识图谱风格”的检索。
• 可供引用 – 每个结果都链接回其来源文档、章节、页码和视觉证据。

为何重要

传统的 RAG 管线将文档扁平化为独立的文本区块，导致层级、引用和视觉上下文的丢失。Knowhere 保留了原始结构并增加了视觉理解能力，使代理能够：

• 像人类一样导航文档（章节 → 小节 → 页面）。
• 检索带有页码和图片的精确证据。
• 高效处理仅靠 OCR 难以应对的超长 PDF 或幻灯片。

核心组件（如仓库中所述）

组件	角色
API (apps/api)	用于上传文件、启动解析任务及查询内存图谱的 HTTP 端点。
Worker (apps/worker)	执行解析管线（文本或视觉）并建立层级图谱的后台处理器。
Dashboard (独立仓库)	用于管理集合、查看已解析层级及测试检索的 Web UI。
自托管堆栈 (Docker-Compose)	API、Worker、Postgres、Redis 及选配 S3 存储的快速本地部署。
SDKs (Python/Node)	封装 API 以便于集成的轻量级客户端库。

如何开始（快速入门步骤）

1. 安装依赖 – Python 3.11+、uv、Docker-Compose。
2. 同步 Python 包：uv sync --all-packages。
3. 配置 – 复制 API 和 Worker 的 .env.example 文件，并填入：
   • 数据库/Redis 连接信息
   • 兼容 S3 的存储凭证
   • 至少一个 LLM 提供者密钥（例如 DeepSeek-Flash、OpenAI、Qwen 等）
   • 视觉轨道所需的视觉模型凭证。
4. 启动堆栈：./deploy/local-dev/start-dev.sh（启动 Postgres、Redis、LocalStack 等）。
5. 执行迁移并在不同终端启动 API 和 Worker。
6. 使用 API – 通过 V2 Jobs 端点上传文档；系统会将其路由至适当的轨道，建立层级结构并使其可被搜索。

AI 代理的典型工作流程

1. 摄取 – 代理将文件发送至 Knowhere API。
2. 解析 – Worker 执行文本或视觉管线，将输出标准化为通用架构。
3. 存储 – 节点（章节、页面、图片、表格）连同元数据（路径、引用、实体）被持久化存储。
4. 检索 – 代理调用检索 API，使用 outline、search 或 read_page 等工具探索图谱。
5. 引用 – 结果包含精确的来源参考，实现可信赖的回答。

README 中强调的显著功能

• 视觉页面理解 – 无需完美的 OCR；VLM 可以总结整个页面。
• 超长 PDF 支持 – 处理数百页及地图集风格的文档。
• 跨文档内存图谱 – 类型化实体链接跨命名空间的相关文档。
• 基准测试 – 内部测试显示相较于原始文档基准，首次尝试准确率提升 +36%，召回率提升 +11%。
• 遥测 – 匿名使用数据发送至 PostHog（可通过环境变量关闭）。

谁会使用它

• 开发代理式 RAG 系统的开发者，需要结构化、可供引用的上下文。
• 拥有大型内部文档库的企业（手册、幻灯片、研究 PDF），希望建立可搜索的知识库。
• 研究人员，需要可重现的文档解析管线并希望引用精确页面。

授权与社区

• Apache 2.0 授权。
• 活跃的 GitHub Discussions、问题追踪器及贡献指南。
• Docker 镜像发布于 GitHub Container Registry。
• 该项目自 2026 年 5 月起开源，并提供托管云服务以供快速试用。

---

以上所有细节均直接取自仓库的 README；未添加任何额外声明。