Unstructured-IO/unstructured

Convert documents to structured data effortlessly. Unstructured is open-source ETL solution for transforming complex documents into clean, structured formats for language models. Visit our website to learn more about our enterprise grade Platform product for production grade workflows, partitioning, enrichments, chunking and embedding.

解决的问题

Unstructured 旨在解决从 PDF、HTML、Word 文档、图像等非结构化数据中进行数据摄取和预处理的挑战，将其转换为结构化格式。这一过程对于简化大型语言模型（LLMs）的数据管道至关重要，能够将杂乱多样的文件类型轻松转化为适合向量数据库及其他下游 AI 应用的干净结构化输出。

工作原理

该库使用模块化函数和连接器系统来实现文件的分区、增强、分块和嵌入。它提供了一个核心的 partition 函数，可自动检测文件类型并将其路由到相应的专用分区函数。它支持超过 60 种不同的文件格式，包括扫描文件和电子邮件。

适用人群

适用于开发 LLM 应用的开发者和数据工程师，特别是那些需要为 RAG（检索增强生成）或其他 AI 代理准备多样化文档集的用户。

主要亮点

  • 广泛格式支持：支持超过 60 种文件类型，包括 PDF、电子邮件、Word 文档和图像。
  • MCP 服务器集成：提供 Unstructured Transform MCP 服务器，允许 AI 代理在其会话中直接解析和分块文档。
  • 灵活部署：可作为 Python 库、Docker 容器或 SaaS API 运行。
  • 自动分区：自动检测文件类型，简化数据摄取流程。

相关

  • 项目
    drmingler/smart-llm-loader

    一个 Python 包，利用 OCR 和 LLM 驱动的语义分块，将文档和扫描图像转换为干净、结构化的 markdown 块，用于 RAG 系统。

  • 项目
    docling-project/docling

    Docling 是一个开源 Python 库，可解析大量文档类型（PDF、Word、幻灯片、电子表格、电子书、音频、视频、邮件、图像及多种 XML 模式），并利用 AI 驱动的布局分析、OCR、视觉-语言模型理解及语音转文本功能对其进行增强。它输出统一的 `DoclingDocument`，可导出为 Markdown、HTML、JSON、DocLang、DocTags 等格式，并可通过 MCP 或 REST API 直接集成到 LangChain、LlamaIndex、Crew AI、Haystack 或自定义代理中。该工具可在本地运行以保护隐私敏感数据，也支持 CLI 和服务模式，非常适合构建 RAG 管道、企业知识库、金融或法律文档处理以及多模态 AI 代理。

  • 项目
    virgiliojr94/book-to-skill

    一个将技术书籍和文档转换为结构化、按需调用的AI代理技能的工具，通过避免完整上下文注入，降低token成本和幻觉。

  • 项目
    docling-project/docling-mcp

    一个 MCP 服务器，通过 Docling 库为 AI 代理提供将 PDF 转换为结构化格式和生成新文档的工具。

  • 项目
    deepdoctection/deepdoctection

    一个用于文档理解的 Python 库，通过编排布局分析、OCR 和标记分类，从 PDF 和扫描件中提取结构化数据。