slothflowlabs/duckle

解決する課題

Duckleは、高額な費用やベンダーロックイン、行単位の課金が発生する既存のデータパイプラインツールに代わる、オープンソースのETL（抽出、変換、ロード）プラットフォームです。チームはビジュアルまたはコードベースでデータパイプラインを構築し、ローカルマシン、プライベートサーバー、クラウドインスタンスなど、自社のインフラ上で完全に実行できます。隠れたコストやベンダーロックインは一切ありません。

仕組み

Duckleは、コンポーネント（ソース、変換、シンク）をドラッグ＆ドロップしてデータフローを構築するビジュアルキャンバスを提供します。これらのビジュアルグラフは、DuckDBエンジン上で動作する効率的なベクトル化SQLにコンパイルされます。デスクトップアプリ、Python、またはSQLを使用してパイプラインを作成し、同じパイプラインファイルをヘッドレスランナーにデプロイしてスケジュール実行することが可能です。オプションのローカルAIアシスタントが含まれており、外部サーバーにデータを送信することなく、自然言語のプロンプトからパイプライン構成を生成できます。

対象ユーザー

高性能でローカルファーストなデータ処理を必要とし、インフラ、監査証跡、データセキュリティを完全に制御したいデータエンジニアやチーム向けに構築されています。特に、マネージドETLサービスの継続的なコストを回避したい方に最適です。

ハイライト

• ネイティブパフォーマンス： DuckDBカラムナエンジンを活用し、高速かつベクトル化されたデータ処理を実現します。
• ローカルAIアシスタント： プロセス内AIアシスタント (Duckie) を搭載し、APIキーや外部へのデータ送信なしで、自然言語プロンプトからパイプラインを生成します。
• Gitフレンドリー： パイプライン、接続、構成はプレーンファイルとして保存されるため、バージョン管理、ブランチ作成、監査が容易です。
• 広範な接続性： データベース、SaaS API、オブジェクトストレージ、ベクトルストアなど、400以上のコンポーネントを標準でサポートしています。
• 柔軟なデプロイメント： 構築用のビジュアルデスクトップスタジオと、CI/CD、cronジョブ、コンテナ環境向けの軽量なヘッドレスランナーの両方を提供します。