slothflowlabs/duckle

解决的问题

Duckle 是一个开源的 ETL（提取、转换、加载）平台，旨在替代昂贵、绑定供应商或按行收费的数据流水线工具。它允许团队通过可视化或代码构建数据流水线，并完全在自己的基础设施上运行——无论是本地机器、私有服务器还是云实例——且没有隐藏成本或供应商锁定。

工作原理

Duckle 提供了一个可视化画布，您可以通过拖放组件（源、转换、接收器）来构建数据流。它将这些可视化图形编译为在 DuckDB 引擎上运行的高效、向量化 SQL。您可以在桌面应用程序中、通过 Python 或使用 SQL 编写流水线，然后将相同的流水线文件部署到无头运行器（headless runner）进行定时执行。它包含一个可选的本地 AI 助手，无需将数据发送到外部服务器即可根据自然语言提示生成流水线配置。

适用人群

它专为需要高性能、本地优先数据处理，并希望完全控制其基础设施、审计跟踪和数据安全的各种数据工程师和团队而构建。对于那些希望避免托管 ETL 服务经常性成本的用户特别有用。

亮点

• 原生性能： 利用 DuckDB 列式引擎实现高速、向量化的数据处理。
• 本地 AI 助手： 包含一个进程内 AI 助手 (Duckie)，可根据自然语言提示生成流水线，无需 API 密钥或外部数据传输。
• Git 友好： 流水线、连接和配置均保存为纯文本文件，易于版本控制、分支管理和审计。
• 广泛的连接性： 开箱即用支持超过 400 个组件，包括数据库、SaaS API、对象存储和向量存储。
• 灵活部署： 提供用于构建的可视化桌面工作室，以及用于 CI/CD、cron 作业和容器化环境的轻量级无头运行器。