StarTrail-org/PixelRAG

https://arxiv.org/abs/2606.28344. The end of web parsing. The beginning of scalable pixel-native search. link: https://pixelrag.ai/

解决的问题

传统的检索增强生成 (RAG) 系统通常无法处理表格、图表和信息图等复杂的视觉信息，因为它们依赖于将网页或文档解析为纯文本，这会剥离关键的布局和视觉上下文。PixelRAG 通过将文档视为视觉实体来解决这一问题，使 AI 模型能够直接从截图中“看到”并检索信息。

工作原理

PixelRAG 用视觉流水线取代了基于文本的解析。它使用渲染引擎 (通过 Playwright/CDP) 将网页或 PDF 等文档捕获为高保真截图切片。这些图像随后由经过 LoRA 微调的视觉语言嵌入模型 (Qwen3-VL-Embedding) 处理，将视觉内容映射到向量空间。这使得系统能够对文档的视觉结构进行语义搜索，而不仅仅是文本内容。

适用对象

本项目适用于正在构建 RAG 应用程序的开发人员和研究人员，这些应用需要对包含非文本数据的文档进行高精度处理。它也专为 Claude Code 等智能体工具的用户设计，旨在让 AI 智能体具备视觉解读网页和文档的能力。

亮点

  • 视觉优先检索： 基于文档外观进行搜索，保留表格、图表和布局结构。
  • Claude 集成： 包含一个 pixelbrowse 插件，允许 Claude 通过截图“查看”并总结网页。
  • 通用流水线： 提供用于渲染、分块、嵌入和索引文档的模块化工具。
  • 灵活的后端： 支持用于快速部署的本地 FAISS 索引，或用于可扩展生产级向量搜索的 Qdrant。

相关

  • 项目
    jolibrain/colette

    Colette 是一个自托管的RAG平台，将PDF作为图像索引，保留表格、图表和布局。结合视觉嵌入、BM25词法搜索和可选的HyDE提示，通过Docker在高端GPU上运行。适用于机密技术文档。

  • 项目
    HKUDS/LightRAG

    LightRAG 是一个开源的 Python 框架，将向量嵌入与知识图谱索引相结合，用于快速、可扩展的检索增强生成。它支持多种分块策略、多模态文档解析、增量更新以及多种存储后端，并附带 REST API 和 Web UI。

  • 项目
    ggozad/haiku.rag

    haiku.rag 是一个 Python 库/CLI，用于构建一个私有的、引用丰富的 RAG 系统，支持 PDF、Office 文件、HTML、Markdown 和图像。它使用 LanceDB 进行混合向量/全文索引，Docling 进行文档解析，Pydantic AI 用于 LLM/嵌入提供程序（默认为 Ollama）。功能包括混合搜索、可选重排序、多模态图像搜索、用于数据聚合的沙箱 Python，以及一个显示精确页面级引用的 CLI/TUI。它提供了一个可选的后台摄取服务和一个 MCP 服务器，用于与 Claude Code 等工具集成。通过 `pip install haiku.rag`（或精简核心）安装，并通过 `haiku-rag add-src`、`haiku-rag ask` 或异步 Python API 等命令进行交互。

  • 项目
    Marker-Inc-Korea/AutoRAG

    AutoRAG Agent 是一个基于 Node 的本地运行 RAG 系统，可将您的计算机变成一个可搜索的知识库。它使用 BM25 和内置嵌入模型索引文件（PDF、Office、HWP、图像等），支持多种外部聊天源，并以带编号引用的方式回答自然语言问题。它提供 CLI、交互式终端 UI、桌面 Electron 应用和 TypeScript 库，强调隐私（数据不离开机器）和易用性（无需设置向量数据库）。

  • 项目
    OpenRaiser/PaperFit

    PaperFit 是一个 AI 智能体系统，可自动检查并修复 LaTeX 论文的视觉布局。它将 PDF 渲染为图像，诊断布局缺陷，提出 LaTeX 编辑建议，并迭代优化，直至满足视觉和页数预算目标。支持 Claude Code、Codex 和 Cursor，具备模板迁移、页数控制和局部对象修复功能。