Marker-Inc-Korea/AutoRAG

AutoRAG Agent – 您的文件的本地“图书管理员”

它是什么 – AutoRAG Agent 是一个 TypeScript/Node 库（发布为 @autorag/librarian），可将您的计算机变成一个可搜索的知识库。它在本地运行一个小型 LLM 驱动的“图书管理员”，读取您机器上文件的内容（PDF、Word、HWP、图像、代码等），创建轻量级索引，并以带引用的方式回答自然语言问题，引用指向原始文档。

为什么重要 – 传统的检索增强生成（RAG）流程要求您将数据上传到远程向量存储，管理嵌入，并维护单独的搜索服务。AutoRAG 省去了所有这些：它就地联合数据，即时构建 BM25 和向量索引，并将所有内容私密地保留在您的设备上。结果是快速、零遥测、“开箱即用”的 RAG 体验，可从桌面 UI、终端 UI、CLI 脚本或嵌入您自己的 TypeScript 代码中使用。

主要功能

• 桌面应用（Electron + React）– 浏览文件夹、提问、查看带编号引用的答案，并预览多种文件类型（PDF、Office、HWP、图像、视频、音频）。
• 多源检索 – Slack、Discord、Telegram、WhatsApp、Gmail、GitHub、Obsidian，以及任何本地文件夹。
• 混合搜索 – 结合快速 BM25 词法排序、密集向量检索（使用捆绑的 qwen3-embedding-0.6b 模型）和重排序器（默认使用 OpenRouter 的 voyageai/rerank-3-lite）。
• 本地嵌入模型 – 在设备上运行 qwen3-embedding-0.6b 模型；基本索引无需外部 API 密钥。
• 隐私设计 – 所有文档解析和嵌入均在本地进行；API 密钥存储在操作系统加密的凭据存储中。
• 可插拔“数据源技能” – 每个外部服务通过一个小型插件访问，该插件返回可搜索的块，因此同一个图书管理员可以回答跨越文件和聊天历史的问题。
• 增量 CDC 索引 – 内置的 MinSync 组件监视您的文件夹并持续更新 BM25/向量块，即使应用关闭时也是如此。
• 文件名搜索 – 在 Windows 上捆绑便携式 Everything 引擎；在 macOS/Linux 上可使用 fsearch-cli 进行亚秒级名称查找。
• CLI 和 TUI – autorag 提供命令来初始化、索引、检查健康状态和运行搜索（autorag search …）。交互式 TUI（autorag tui）让您实时引导搜索、纠正或停止它。
• 编程 API – 在任何 Node/TS 项目中导入 @autorag/librarian，并从代码中调用相同的搜索函数。

工作原理

1. 初始化 – autorag init 创建一个配置，指向一个或多个“搜索路径”，并选择 OCR/解析的语言。
2. 解析和索引 – 使用 kordoc 库解析文档（无需 Java）。可选 OCR 使用内置的 PP-OCRv5 模型处理韩语/英语，或使用 Tesseract 处理其他语言。解析的文本被分块，存储 BM25 词项，并通过本地嵌入模型生成密集向量。
3. 检索 – 当您提问时，代理运行两阶段过程：(a) 在所有启用方法中进行快速词法/语义检索，(b) 验证步骤，代理使用 cat、grep 等打开排名最高的文件以确认证据。
4. 整理 – LLM 生成简洁答案；框架将内联引用标记（[eN]）替换为包含文件路径、页码或行范围的编号引用。引用的证据存储在 ~/.autorag/memory.json 中，供未来查询使用。
5. 代理主机 – AutoRAG 运行在 Pi 代理框架之上，该框架处理模型凭据、会话持久化和交互式终端 UI。AutoRAG 仅贡献检索和整理逻辑。

安装

# 全局 CLI 安装（Node ≥24 或 Bun ≥1.2）
bun install -g @autorag/librarian   # 或 npm install -g @autorag/librarian

该包在首次运行时拉取所需的二进制文件（Windows 上的 Everything、MinSync 等）。

典型工作流程

# 1️⃣ 设置您想要可搜索的文件夹
autorag init --search-paths ~/Documents/research

# 2️⃣ 构建索引（解析 PDF、markdown、Office 文件等）
autorag refresh

# 3️⃣ 从 CLI 或 TUI 提问
autorag search "Q3 云合同中的关键变更是什么？"
# 或
autorag tui   # 然后交互式输入您的查询

答案将带引用返回，例如：

[1] 企业计算折扣 — AWS 年度折扣层级提高到 28%（contracts/cloud-2026.pdf:p.4）
[2] 区域数据驻留 — 将数据固定到首尔的合规条款（slack/legal-ops#318）

谁可能使用它 – 需要在笔记本电脑上拥有个人“全能搜索引擎”的知识工作者、构建需要本地文档理解的 AI 增强工具的开发者，或希望在不管理向量数据库的情况下获得隐私保护 RAG 层的团队。

---

链接

• 库：@autorag/librarian（npm）
• 桌面 UI 仓库：NomaDamas/AutoRAG-app
• 旧版 Python AutoRAG（仍维护）位于 legacy/ 文件夹中。