Unstructured-IO/unstructured

Convert documents to structured data effortlessly. Unstructured is open-source ETL solution for transforming complex documents into clean, structured formats for language models. Visit our website to learn more about our enterprise grade Platform product for production grade workflows, partitioning, enrichments, chunking and embedding.

解決する課題

Unstructuredは、PDF、HTML、Wordドキュメント、画像などの非構造化データを取り込み、大規模言語モデル（LLM）で使用可能なフォーマットに前処理するという課題を解決するために設計されています。乱雑な非構造化ドキュメントを構造化された出力に変換することで、データ処理のワークフローを効率化します。

仕組み

このライブラリは、関数とコネクタのモジュール式システムを使用しています。主なエントリポイントは partition 関数で、ファイルタイプを自動的に検出し、適切なファイル固有のパーティション関数にドキュメントをルーティングします。PDF、電子メール、テキストファイルなど幅広いフォーマットを処理でき、多くの場合、画像には tesseract-ocr、PDFには poppler-utils といったシステム依存関係を活用して、テキストやレイアウト要素を抽出します。

対象ユーザー

LLMを活用したアプリケーションを構築する開発者やデータエンジニア向けに設計されており、後続のAIタスクのために多様なドキュメントタイプを効率的にクリーンアップおよび準備する必要がある場合に最適です。

主な特徴

  • 幅広いフォーマット対応: PDF、HTML、Wordドキュメント、画像など、多くのドキュメントタイプを処理します。
  • 自動パーティショニング: partition 関数により、ファイルタイプを自動検出して取り込みを簡素化します。
  • CondaおよびDockerのサポート: 公式のDockerイメージとCondaインストールパスを提供し、環境構築を容易にします。
  • 柔軟なインストール: 特定のドキュメントタイプに必要な依存関係のみをインストールできます（例: unstructured[docx,pptx]）。

関連

  • プロジェクト
    lumina-ai-inc/chunkr

    レイアウト分析とOCRを使用して、PDF、PPT、Wordドキュメント、画像を構造化されたRAG対応チャンクに変換するオープンソースのドキュメントインテリジェンスAPIです。

  • プロジェクト
    emcf/thepipe

    thepipeは、ビジョン言語モデルを使用して、多くのファイルタイプ（PDF、DOCX、PPTX、ノートブック、オーディオ/ビデオなど）からクリーンなMarkdown、テーブル、画像を抽出するPythonライブラリです。LLMに供給したり、LlamaIndexドキュメントに変換したり、Pydanticスキーマを使用した構造化抽出に使用できる「チャンク」を返します。`pip install thepipe-api`でインストールし、Whisper、sentence-transformers、GPUサポート、またはLlamaIndex統合のためのオプション機能を追加できます。

  • プロジェクト
    drmingler/smart-llm-loader

    OCR と LLM 駆動のセマンティック チャンキング を使用して、ドキュメントとスキャン画像をクリーンで構造化された Markdown チャンクに変換する Python パッケージ。RAG システム向け。

  • プロジェクト
    data-prep-kit/data-prep-kit

    LLMの事前学習、ファインチューニング、RAGアプリケーション向けに、非構造化データをクリーニング、変換、拡張するためのスケーラブルなツールキット。

  • プロジェクト
    docling-project/docling

    Doclingは、多くのドキュメントタイプ（PDF、Word、スライド、スプレッドシート、HTML、電子書籍、音声、動画、メールなど）を統一的で構造化された表現に解析するオープンソースのPythonライブラリ/CLIです。レイアウト、テーブル、コード、数式、画像、音声テキスト変換を抽出し、Markdown、HTML、JSON、DocLang、DocTagsなどにエクスポートします。生成AIワークフロー向けに設計されており、LangChain、LlamaIndex、Crew AI、Haystackとのプラグアンドプレイ統合を提供し、プライバシーに敏感なデータのためのローカル実行をサポートします。