docetl: 它是什么，解决了什么问题以及为什么它正受到关注

它解决了什么问题

DocETL 简化了使用 LLM 分析和转换大规模结构化和非结构化数据集合的过程。它消除了手动编写、连接以及为了准确性、成本和延迟而对单个 LLM 调用进行调优的必要性。

它是如何工作的

用户使用自然语言提示词来定义数据处理操作（如 map、reduce 和 filter）。DocETL 编排这些操作，在整个数据集中并行化工作负载，并将结果作为可查询的表返回。系统会自动通过更换模型、重写提示词、分解操作或将 LLM 任务替换为代码来优化流水线，从而提高准确性并降低成本。

它是面向谁的

它专为需要通过 Python API、低代码 YAML 配置或可视化界面使用 LLM 处理大规模文档集合的开发人员和数据分析师而设计。

亮点

• 声明式流水线: 使用简单的操作符（如 map 和 reduce）来定义复杂的流程。
• 自动优化: 使用智能体重写（agentic rewrites）来自动平衡成本和准确性。
• 灵活的接口: 支持 Python API、YAML 配置和名为 DocWrangler 的可视化游乐场。
• 可扩展的执行: 处理跨各种 LLM 提供商的并行化和速率限制。