Unstructured-IO/unstructured

Convert documents to structured data effortlessly. Unstructured is open-source ETL solution for transforming complex documents into clean, structured formats for language models. Visit our website to learn more about our enterprise grade Platform product for production grade workflows, partitioning, enrichments, chunking and embedding.

해결하는 문제

Unstructured는 PDF, HTML, Word 문서, 이미지와 같은 비정형 데이터를 수집하고 전처리하여 대규모 언어 모델(LLM)에서 사용할 수 있는 형식으로 변환하는 문제를 해결하기 위해 설계되었습니다. 복잡하고 비정형적인 문서를 정형화된 출력으로 변환하여 데이터 처리 워크플로우를 간소화합니다.

작동 방식

이 라이브러리는 함수와 커넥터의 모듈식 시스템을 사용합니다. 주요 진입점은 partition 함수이며, 파일 유형을 자동으로 감지하여 적절한 파일별 파티셔닝 함수로 문서를 라우팅합니다. PDF, 이메일, 텍스트 파일을 포함한 다양한 형식을 처리할 수 있으며, 종종 이미지에는 tesseract-ocr, PDF에는 poppler-utils와 같은 시스템 종속성을 활용하여 텍스트 및 레이아웃 요소를 추출합니다.

대상 사용자

LLM 기반 애플리케이션을 구축하는 개발자와 데이터 엔지니어를 대상으로 하며, 후속 AI 작업을 위해 다양한 문서 유형을 효율적으로 정리하고 준비해야 하는 경우에 적합합니다.

주요 특징

  • 광범위한 형식 지원: PDF, HTML, Word 문서, 이미지 및 기타 여러 문서 유형을 처리합니다.
  • 자동 파티셔닝: partition 함수는 파일 유형을 자동으로 감지하여 수집 과정을 간소화합니다.
  • Conda 및 Docker 지원: 공식 Docker 이미지와 Conda 설치 경로를 제공하여 환경 설정을 더 쉽게 만듭니다.
  • 유연한 설치: 특정 문서 유형에 필요한 종속성만 설치할 수 있습니다(예: unstructured[docx,pptx]).

관련

  • 프로젝트
    lumina-ai-inc/chunkr

    레이아웃 분석과 OCR을 사용하여 PDF, PPT, 워드 문서, 이미지를 구조화된 RAG 대응 청크로 변환하는 오픈소스 문서 인텔리전스 API입니다.

  • 프로젝트
    emcf/thepipe

    thepipe는 비전 언어 모델을 사용하여 다양한 파일 형식(PDF, DOCX, PPTX, 노트북, 오디오/비디오 등)에서 깔끔한 마크다운, 표, 이미지를 추출하는 Python 라이브러리입니다. LLM에 공급하거나, LlamaIndex 문서로 변환하거나, Pydantic 스키마를 사용한 구조화된 추출에 사용할 수 있는 '청크'를 반환합니다. `pip install thepipe-api`로 설치하고, Whisper, sentence-transformers, GPU 지원 또는 LlamaIndex 통합을 위한 선택적 기능을 추가할 수 있습니다.

  • 프로젝트
    drmingler/smart-llm-loader

    OCR 및 LLM 기반 시맨틱 청킹을 사용하여 문서와 스캔된 이미지를 깨끗하고 구조화된 마크다운 청크로 변환하는 Python 패키지. RAG 시스템용.

  • 프로젝트
    data-prep-kit/data-prep-kit

    LLM 사전 훈련, 파인튜닝, RAG 애플리케이션을 위한 비구조화 데이터를 정제, 변환, 풍부화하는 확장 가능한 툴킷.

  • 프로젝트
    docling-project/docling

    Docling은 많은 문서 유형(PDF, Word, 슬라이드, 스프레드시트, HTML, 전자책, 오디오, 비디오, 이메일 등)을 통합되고 구조화된 표현으로 파싱하는 오픈 소스 Python 라이브러리/CLI입니다. 레이아웃, 표, 코드, 수식, 이미지 및 음성-텍스트를 추출한 다음 Markdown, HTML, JSON, DocLang, DocTags 등으로 내보냅니다. 생성형 AI 워크플로우에 맞게 설계되어 LangChain, LlamaIndex, Crew AI, Haystack과의 플러그 앤 플레이 통합을 제공하며, 개인 정보 보호에 민감한 데이터를 위한 로컬 실행을 지원합니다.