slothflowlabs/duckle

解決的問題

Duckle 是一個開源的 ETL（提取、轉換、載入）平台，讓團隊能在自己的基礎設施上建置資料管道，而非支付給 Fivetran 或 Airbyte 等託管服務商的每列費用。它解決了管道被鎖定在供應商雲端、難以審計、依賴撰寫者等問題。每個管道都是 Git 中的純文字檔案，因此可被審查、回滾，並超越其作者的存續期。

如何運作

您可在筆電上使用視覺化畫布、Python 或 SQL 來撰寫管道。Duckle 將圖形轉譯為 SQL，並透過 DuckDB 的欄式引擎執行，可使用機器上的所有核心。相同的管道檔案可無頭模式部署至伺服器（使用 duckle-runner serve）、在 Docker 中執行、在 CI 中執行，或作為獨立可執行檔運行。伺服器控制台提供排程（cron）、角色、審計日誌與警示功能。機密資訊在執行時從環境變數或加密的工作區儲存中解析，不會儲存在管道檔案中。擴展為水平式：增加更多核心、更多記憶體、更多並行執行，或透過 duckle-runner work 增加更多工作機。面對極大資料時，推送下推（pushdown）功能可在 Postgres、Oracle、SQL Server 或 Snowflake 內部原樣執行查詢，而 Duckle 則負責編排。它還附帶可選的本地 AI 助手（Duckie），可將英文描述轉換為管道 JSON，並直接放置於畫布上，本地執行，無需 API 金鑰或遙測。

適用對象

希望掌控自己 ETL 基礎設施的資料工程師與團隊——在自己的伺服器、Docker 或雲端虛擬機上執行管道，並希望擁有免費、可審計、自包含的替代方案，以取代託管式按列計費的 ETL 工具。對於從 Talend 等舊式視覺化 ETL 工具遷移的團隊也非常實用，因為 Duckle 可以匯入這些作業。

主要亮點

• 安裝時即有 366 個元件 — 覆蓋檔案、SQL 資料庫、資料倉儲、NoSQL、向量資料庫、串流訊息代理、SaaS API、FTP 與 IMAP 的來源、轉換、目標、資料品質檢查與控制流程節點。
• 自包含的約 65 MB 二進位檔 — 工作區是您選擇資料夾中的純文字檔案；引擎在首次啟動時安裝。
• 本地 AI 助手（Duckie） — 用英文描述管道，它會生成 JSON 並放置於畫布上，本地執行，無需 API 金鑰或遙測。
• 可測量的效能 — 從即時 Postgres 提取 9600 萬筆資料至 Parquet 僅耗時 39.9 秒；Oracle 提取耗時 65.0 秒，比在同一台機器上使用 python-oracledb + pyarrow 更快。
• 部署彈性 — 可在伺服器上無頭執行、在 Docker 中執行、在 CI 中執行，或作為獨立可執行檔運行；控制台支援角色、審計日誌與警示。
• 推送下推（Pushdown） — 對於超出任何機器容量的大資料，查詢將在 Postgres、Oracle、SQL Server 或 Snowflake 內部原樣執行，而 Duckle 負責編排。
• Talend 作業匯入 — 將舊式視覺化 ETL 作業轉換為 Duckle 管道，並產生報告說明仍需人工處理的部分。
• CI 就緒 — duckle-runner validate 可在不開啟來源或不需要憑證的情況下將管道編譯為 SQL，對每次推送進行門禁控制。