slothflowlabs/duckle

何を解決するか

Duckle はオープンソースの ETL（抽出、変換、ロード）プラットフォームで、Fivetran や Airbyte のようなホスト型ベンダーに行単位の料金を支払わずに、自社インフラ上でデータパイプラインを構築できるようにします。ベンダークラウドに縛られ、監査が困難で、書いた人依存のパイプラインの問題を解決します。すべてのパイプラインは Git 上の plain file なので、レビュー可能でロールバックも可能であり、作成者の在籍期間を超えて存続します。

動作方法

ローカルマシン上でビジュアルキャンバス、Python、または SQL を使ってパイプラインを記述します。Duckle はグラフを SQL にコンパイルし、DuckDB のカラムエンジンで実行します。このエンジンはマシンのすべてのコアを活用します。同じパイプラインファイルは duckle-runner serve でサーバーにヘッドレスでデプロイ可能、Docker で実行、CI で実行、またはスタンドアロン実行可能ファイルとして動作します。サーバーコンソールにはスケジューリング（cron）、ロール、監査ログ、アラート機能があります。シークレットはパイプラインファイルに保存せず、実行時に環境変数または暗号化されたワークスペースストアから解決されます。スケーリングは水平方向：より多くのコア、RAM、並行実行、または duckle-runner work でより多くのワーカーマシンを追加できます。非常に大きなデータに対しては、プッシュダウン機能により、Postgres、Oracle、SQL Server、Snowflake 内でクエリをそのまま実行しつつ、Duckle がオーケストレーションを担当します。また、オプションのローカル AI アシスタント（Duckie）も同梱されており、英語の説明からパイプライン JSON を生成し、キャンバスに配置します。API キーやテレメトリは不要で、すべてローカルで実行されます。

対象ユーザー

自社サーバー、Docker、クラウド VM 上でパイプラインを実行したいデータエンジニアやチーム。ホスト型の行単位課金 ETL ツールの無料で監査可能な自己完結型の代替手段を求める人。また、Talend などのレガシーなビジュアル ETL ツールから移行したいチームにも有用です。Duckle はそのジョブをインポートできます。

特徴

• インストール時に 366 個のコンポーネントが利用可能 — ファイル、SQL データベース、データウェアハウス、NoSQL、ベクトル DB、ストリーミングブローカー、SaaS API、FTP、IMAP をカバーするソース、変換、シンク、データ品質チェック、制御フロー ノード。
• 自己完結型の約 65 MB バイナリ — ワークスペースは選択したフォルダ内の plain file で、エンジンは初回起動時にインストールされます。
• ローカル AI アシスタント（Duckie） — パイプラインを英語で説明すると、JSON を生成してキャンバスに配置します。API キーもテレメトリも不要で、すべてローカルで実行されます。
• 測定可能なパフォーマンス — ライブ Postgres から 9600 万行を Parquet に 39.9 秒で移行；Oracle の抽出は 65.0 秒。同じマシンで python-oracledb + pyarrow を使用した場合より高速。
• デプロイの柔軟性 — サーバーでヘッドレス実行、Docker で実行、CI で実行、またはスタンドアロン実行可能ファイルとして動作。コンソールにはロール、監査ログ、アラート機能があります。
• プッシュダウン — データがどのマシンにも収まらない場合、クエリは Postgres、Oracle、SQL Server、Snowflake 内でそのまま実行され、Duckle がオーケストレーションを担当します。
• Talend ジョブインポート — レガシーなビジュアル ETL ジョブを Duckle パイプラインに変換。まだ人手が必要な部分についてレポートを出力します。
• CI 対応 — duckle-runner validate は、ソースを開かず、認証情報も不要でパイプラインを SQL にコンパイルし、プッシュ毎にゲート処理が可能。