xberg-io/xberg

The fast, precise document-intelligence engine for every language: text, tables and metadata from 100+ formats, with OCR, transcription and code intelligence.

解决的问题

Xberg 是一个全面的文件智能引擎，旨在消除为从多种文件格式中提取结构化数据而组装复杂多库管道的需求。它提供了一个单一、统一的接口，用于跨越大量文档、图像、音频和网页内容的格式检测、读取、OCR 和内容提取。

运作方式

该引擎处理整个摄取过程——从识别文件的 MIME 类型到提取其内容。它支持 107 种文档格式（包括 PDF、Office 文件和电子书）、通过多个后端（Tesseract、PaddleOCR、Candle 或 VLM）进行 OCR，以及使用 Whisper ONNX 进行语音转文字转录。它还可以爬取 URL、递归提取嵌套归档文件，并针对 371 种编程语言的代码执行语法感知分块。提取的内容可以以六种不同的格式输出，包括 Markdown 和 JSON。

目标对象

正在构建 RAG（检索增强生成）管道、AI 代理或任何需要从各种来源进行高精度文档解析和结构化数据提取的应用程序的开发人员。

特色亮点

  • 广泛的格式支持：处理 141 种文件扩展名下的 107 种格式，包括学术引用、电子邮件和数据库。
  • 多语言绑定：适用于 15 种语言，包括 Rust、Python、Node.js、Go、Java、C#、Ruby、PHP、Elixir、Dart、Swift、Zig、WASM 和 Kotlin。
  • AI 就绪功能：内置对嵌入、重排序、NER、摘要以及通过本地或托管 LLM 进行模式驱动的 JSON 提取的支持。
  • 灵活部署：可作为库、CLI 工具、REST API 或 MCP 服务器运行，且默认针对 CPU 进行了优化。
  • 高级版面分析：使用 ML 模型重建阅读顺序和表格网格，以输出干净的 Markdown。

相关

  • 项目
    firecrawl/anydoc

    一个高性能的 Rust 库，可将各种办公文档格式转换为整洁、一致的 Markdown，以供 LLM 摄取和代理工作流使用。

  • Dispatch
    Hugging Face 加速文档 AI

    Hugging Face 提供了一份全面指南，帮助企业使用开源多模态模型实现文档分类、解析和视觉问答的自动化。

  • 项目
    docling-project/docling

    Docling是一个开源Python库/CLI，可将多种文档类型（PDF、Word、幻灯片、电子表格、HTML、电子书、音频、视频、电子邮件等）解析为统一的结构化表示。它提取布局、表格、代码、公式、图像和语音转文本，然后导出为Markdown、HTML、JSON、DocLang、DocTags等。专为生成式AI工作流设计，提供与LangChain、LlamaIndex、Crew AI、Haystack的即插即用集成，并支持本地执行以处理隐私敏感数据。

  • 项目
    PaddlePaddle/PaddleOCR

    PaddleOCR 是一个开源 OCR 和文档 AI 工具包，可将图像或 PDF 转换为结构化、LLM 就绪的文本、表格和 Markdown/JSON。它提供多语言场景文本模型（PP-OCRv6）和轻量级视觉-语言模型（PaddleOCR-VL、PP-StructureV3），具备业界领先精度、快速 CPU/GPU 推理能力，并支持从 Docker 到浏览器 SDK 的多种部署方式。与 Dify、RAGFlow 等 RAG 平台集成，可作为构建 AI 代理和检索增强生成流水线的数据引擎。

  • 项目
    DocAILab/XRAG

    XRAG 是一个用于检索增强生成（RAG）的开源基准测试框架。它允许用户使用经典 IR 指标和基于 LLM 的质量评分来评估各个 RAG 组件——检索器、嵌入模型、LLM、编排器。其特性包括模块化插件架构、支持 OpenAI、Ollama 和 Hugging Face 模型、CLI、用于交互式测试的 Web UI，以及 REST API 服务。通过 pip 安装，使用 TOML 文件配置，并运行基准测试或生成合成 QA 数据。非常适合构建或比较 RAG 系统的研究人员和工程师。