Unstructured-IO/unstructured

Convert documents to structured data effortlessly. Unstructured is open-source ETL solution for transforming complex documents into clean, structured formats for language models. Visit our website to learn more about our enterprise grade Platform product for production grade workflows, partitioning, enrichments, chunking and embedding.

解决的问题

Unstructured 旨在解决摄取和预处理非结构化数据（例如 PDF、HTML、Word 文档和图像）并将其转换为大型语言模型 (LLMs) 可用格式的挑战。它通过将杂乱的非结构化文档转换为结构化输出，简化了数据处理工作流程。

工作原理

该库使用函数和连接器的模块化系统。主要入口点是 partition 函数，它会自动检测文件类型并将文档路由到适当的文件特定分区函数。它可以处理多种格式，包括 PDF、电子邮件和文本文件，通常利用 tesseract-ocr（用于图像）和 poppler-utils（用于 PDF）等系统依赖项来提取文本和布局元素。

目标用户

它旨在为构建 LLM 驱动应用程序的开发人员和数据工程师提供服务，帮助他们高效地清理和准备各种类型的文档，以供后续的 AI 任务使用。

特点

  • 广泛的格式支持：处理 PDF、HTML、Word 文档、图像以及许多其他文档类型。
  • 自动化分区：partition 函数通过自动检测文件类型来简化摄取过程。
  • Conda 和 Docker 支持：提供官方 Docker 镜像和 Conda 安装路径，以便更轻松地设置环境。
  • 灵活的安装：允许用户仅安装特定文档类型所需的依赖项（例如 unstructured[docx,pptx]）。

相关

  • 项目
    lumina-ai-inc/chunkr

    一个开源文档智能 API，通过布局分析和 OCR 将 PDF、PPT、Word 文档和图像转换为结构化、RAG 就绪的块。

  • 项目
    emcf/thepipe

    thepipe 是一个 Python 库，利用视觉语言模型从多种文件类型（PDF、DOCX、PPTX、笔记本、音频/视频等）中提取干净的 Markdown、表格和图像。它返回可供 LLM 使用、转换为 LlamaIndex 文档，或通过 Pydantic 架构进行结构化提取的“块”。请通过 `pip install thepipe-api` 安装，并可选择性加入 Whisper、sentence-transformers、GPU 支持或 LlamaIndex 集成等额外功能。

  • 项目
    drmingler/smart-llm-loader

    一个 Python 包，利用 OCR 和 LLM 驱动的语义分块，将文档和扫描图像转换为干净、结构化的 markdown 块，用于 RAG 系统。

  • 项目
    data-prep-kit/data-prep-kit

    用于准备大型语言模型（LLM）预训练、微调和RAG应用的可扩展工具包，用于清理、转换和丰富非结构化数据。

  • 项目
    docling-project/docling

    Docling是一个开源Python库/CLI，可将多种文档类型（PDF、Word、幻灯片、电子表格、HTML、电子书、音频、视频、电子邮件等）解析为统一的结构化表示。它提取布局、表格、代码、公式、图像和语音转文本，然后导出为Markdown、HTML、JSON、DocLang、DocTags等。专为生成式AI工作流设计，提供与LangChain、LlamaIndex、Crew AI、Haystack的即插即用集成，并支持本地执行以处理隐私敏感数据。