slothflowlabs/duckle

解决的问题

Duckle 是一个开源的 ETL（提取、转换、加载）平台，允许团队在自己的基础设施上构建数据管道，而不是向 Fivetran 或 Airbyte 等托管服务商支付按行计费的费用。它解决了管道被锁定在供应商云中、难以审计、依赖于编写者的问题。每个管道都是 Git 中的一个普通文件，因此可以被审查、回滚，并且能超越其创建者的生命周期。

如何工作

您可以在笔记本电脑上使用可视化画布、Python 或 SQL 编写管道。Duckle 将图结构编译为 SQL，并通过 DuckDB 列式引擎执行，该引擎可利用机器上的所有核心。相同的管道文件可以以无头模式部署到服务器（使用 duckle-runner serve）、在 Docker 中运行、在 CI 中运行，或作为独立可执行文件运行。服务器控制台提供调度（cron）、角色、审计日志和警报功能。密钥在运行时从环境变量或加密的工作区存储中解析，不会存储在管道文件中。扩展是水平的：增加更多核心、更多内存、更多并发运行，或通过 duckle-runner work 添加更多工作机。对于超大数据，推送下推（pushdown）功能可在 Postgres、Oracle、SQL Server 或 Snowflake 内部原样运行查询，而 Duckle 负责编排。它还附带一个可选的本地 AI 助手（Duckie），可将英文描述转换为管道 JSON，并将其直接放置在画布上，本地运行，无需 API 密钥或遥测。

适用人群

希望掌控自己 ETL 基础设施的数据工程师和团队——在自己的服务器、Docker 或云虚拟机上运行管道，并希望拥有一个免费、可审计、自包含的替代方案，以取代按行计费的托管 ETL 工具。对于从 Talend 等旧式可视化 ETL 工具迁移的团队也非常有用，因为 Duckle 可以导入这些作业。

主要亮点

• 安装时即有 366 个组件 — 覆盖文件、SQL 数据库、数据仓库、NoSQL、向量数据库、流式消息代理、SaaS API、FTP 和 IMAP 的源、转换、目标、数据质量检查和控制流节点。
• 自包含的约 65 MB 二进制文件 — 工作区是您选择文件夹中的普通文件；引擎在首次启动时安装。
• 本地 AI 助手（Duckie） — 用英文描述管道，它会生成 JSON 并将其放置在画布上，本地运行，无需 API 密钥或遥测。
• 可测量的性能 — 从实时 Postgres 提取 9600 万行至 Parquet 仅用 39.9 秒；Oracle 提取耗时 65.0 秒，比在同一台机器上使用 python-oracledb + pyarrow 更快。
• 部署灵活性 — 可在服务器上无头运行、在 Docker 中运行、在 CI 中运行，或作为独立可执行文件运行；控制台支持角色、审计日志和警报。
• 推送下推（Pushdown） — 对于超出任何机器容量的大数据，查询将在 Postgres、Oracle、SQL Server 或 Snowflake 内部原样执行，而 Duckle 负责编排。
• Talend 作业导入 — 将旧式可视化 ETL 作业转换为 Duckle 管道，并生成报告说明仍需人工处理的部分。
• CI 就绪 — duckle-runner validate 可在不打开源或不需要凭据的情况下将管道编译为 SQL，对每次推送进行门禁控制。