Unstructured-IO/unstructured

Convert documents to structured data effortlessly. Unstructured is open-source ETL solution for transforming complex documents into clean, structured formats for language models. Visit our website to learn more about our enterprise grade Platform product for production grade workflows, partitioning, enrichments, chunking and embedding.

解決的問題

Unstructured 是為了解決從 PDF、HTML、Word 文件、影像等非結構化資料中進行資料攝取與預處理的挑戰，將其轉換為結構化格式。此過程對於簡化大型語言模型（LLMs）的資料流程至關重要，能將雜亂多樣的檔案類型輕鬆轉換為適合向量資料庫及其他下游 AI 應用的乾淨結構化輸出。

工作原理

該套件使用模組化函數與連接器系統，來執行檔案的分割、增強、分塊與嵌入。它提供主要的 partition 函數，可自動偵測檔案類型並導向至相應的專用分割函數。支援超過 60 種不同的檔案格式，包含掃描檔與電子郵件。

適用對象

適用於開發 LLM 應用的開發者與資料工程師，特別是那些需要為 RAG（檢索增強生成）或其他 AI 代理準備多樣化文件集的使用者。

主要亮點

  • 廣泛格式支援：支援超過 60 種檔案類型，包括 PDF、電子郵件、Word 文件與影像。
  • MCP 伺服器整合：提供 Unstructured Transform MCP 伺服器，讓 AI 代理可在其會話中直接解析與分塊文件。
  • 彈性部署：可作為 Python 套件、Docker 容器或 SaaS API 執行。
  • 自動分割：自動偵測檔案類型，簡化資料攝取流程。

相關

  • 專案
    drmingler/smart-llm-loader

    一個 Python 套件，利用 OCR 和 LLM 驅動的語意分塊，將文件和掃描圖像轉換為乾淨、結構化的 markdown 區塊，適用於 RAG 系統。

  • 專案
    docling-project/docling

    Docling 是一個開源 Python 庫，可解析大量文件類型（PDF、Word、簡報、試算表、電子書、音訊、影片、電子郵件、影像及多種 XML 模式），並透過 AI 驅動的版面分析、OCR、視覺-語言模型理解與語音轉文字功能加以增強。它輸出統一的 `DoclingDocument`，可匯出為 Markdown、HTML、JSON、DocLang、DocTags 等格式，並可透過 MCP 或 REST API 直接整合至 LangChain、LlamaIndex、Crew AI、Haystack 或自訂代理。該工具可在本機執行以保護隱私敏感資料，亦支援 CLI 與服務模式，非常適合建構 RAG 管道、企業知識庫、金融或法律文件處理，以及多模態 AI 代理。

  • 專案
    virgiliojr94/book-to-skill

    一個將技術書籍和文件轉換為結構化、按需調用的AI代理技能的工具，透過避免完整上下文注入，降低token成本與幻覺。

  • 專案
    docling-project/docling-mcp

    一個 MCP 伺服器，提供 AI 代理使用 Docling 庫將 PDF 轉換為結構化格式並生成新文件的工具。

  • 專案
    deepdoctection/deepdoctection

    一個用於文件理解的 Python 函式庫，透過編排佈局分析、OCR 和標記分類，從 PDF 和掃描件中提取結構化數據。