ucbepic/docetl

What it solves

DocETL 簡化了使用 LLM 來分析與轉換大量結構化與非結構化資料的流程。它消除了手動編寫、串接與調校個別 LLM 呼叫以達到準確度、成本與延遲需求的必要性。

How it works

使用者以自然語言提示詞定義資料處理操作（如 map、reduce、filter）。DocETL 會協調這些操作，將工作負載平行化於整個資料集，並將結果以可查詢的表格形式返回。系統會自動透過切換模型、重寫提示詞、分解操作，或將 LLM 任務替換為程式碼的方式來優化管線，以提升準確度並降低成本。

Who it’s for

此工具針對需要透過 Python API、低程式碼 YAML 設定或視覺介面來處理大規模文件集合的開發者與資料分析師設計。

Highlights

• Declarative Pipelines: Define complex workflows using simple operators like map and reduce.
• Automatic Optimization: Uses agentic rewrites to balance cost and accuracy automatically.
• Flexible Interfaces: Supports a Python API, YAML configs, and a visual playground called DocWrangler.
• Scalable Execution: Handles parallelization and rate limiting across various LLM providers.