aryn-ai/sycamore

它解決的問題

Sycamore 解決了將複雜文件（如 PDF、報告和簡報）中的非結構化資料處理為可用於人工智慧應用程式的難題。它透過在提取過程中保留文件的語意結構（包括表格、圖形和圖表），解決了 RAG（檢索增強生成）系統中資料區塊化不佳和召回率低的問題。

如何運作

Sycamore 使用「DocSet」抽象來管理非結構化文件的轉換與操作。它與 Aryn DocParse 整合，Aryn DocParse 是一個利用深度學習 DETR AI 模型的 GPU 加速 API，可對文件進行區段分割、標籤化和 OCR。使用者可應用高階 Python 轉換來清理、豐富並提取資料，然後將產生的高品質區塊載入各種向量資料庫或混合搜尋引擎。

適用對象

專為開發人員和資料工程師設計，用於建構 RAG、基於 LLM 的應用程式以及非結構化資料分析的 ETL 資料流程。

主要特色

• 語意文件分割：利用視覺 AI 保留複雜文件的結構，包括表格和資訊圖表。
• 可擴展的處理能力：基於 Ray 後端，可處理大規模資料。
• 彈性整合：支援多種向量資料庫，包括 Pinecone、Weaviate、Qdrant、OpenSearch、ElasticSearch 和 DuckDB。
• 可擴充的轉換功能：提供由 LLM 驅動的使用者自訂函數（UDFs）以及自動資料爬蟲，支援 S3 和 HTTP。