Unstructured-IO/unstructured
Convert documents to structured data effortlessly. Unstructured is open-source ETL solution for transforming complex documents into clean, structured formats for language models. Visit our website to learn more about our enterprise grade Platform product for production grade workflows, partitioning, enrichments, chunking and embedding.
What it solves
它簡化了將 PDF、HTML、Word 文件、影像等非結構化資料匯入並前處理成結構化格式的流程。此工具專為大型語言模型（LLM）的資料處理工作流程設計，LLM 通常需要乾淨、結構化的文字才能有效運作。
How it works
此函式庫使用模組化函式與連接器系統來匯入文件。其核心機制是 partition 函式，會自動偵測文件類型，並將其導向相應的分割邏輯，將文件拆解為結構化元素（如文字區塊、標題或清單）。
Who it’s for
此工具為開發者與資料工程師打造，適用於建構以 LLM 為核心的應用程式，並需要可靠的方式將各種雜亂的真實世界文件格式轉換為機器學習管線可用的格式。
Highlights
- Broad Format Support: 支援 PDF、HTML、Word 文件、電子郵件與影像。
- Automatic Detection:
partition函式會自動辨識檔案類型，簡化匯入流程。 - Flexible Deployment: 可作為 Python 套件安裝，或以 Docker 容器執行，方便環境管理。
- Extensible: 提供連接器與模組化函式，能因應不同平台需求進行擴充。