duckdb/ducklake

解決する課題

DuckLake は、構造化 SQL データベースとファイルベースのデータストレージの間のギャップを埋める、オープンなレイクハウス形式を提供します。スキーマ管理やデータ更新などのリレーショナルデータベースの利点を維持しながら、実際のデータを標準の Parquet ファイルに保存できます。

仕組み

DuckLake はデータとメタデータを分離します。メタデータはカタログデータベース（DuckDB、PostgreSQL、SQLite のいずれか）に保存し、実際のデータは Parquet ファイルに保持します。DuckLake 拡張機能を DuckDB にインストールすると、これらのストレージ場所をアタッチし、ローカルデータベーステーブルであるかのように標準 SQL コマンドで操作できます。

対象ユーザー

このツールは、DuckDB を使用し、ACID トランザクション、スキーマ進化、履歴データアクセスなどの機能を必要としながら、Parquet 形式の大規模データセットを堅牢に管理する必要があるデータエンジニアや開発者向けです。

主な特長

• Parquet バックアップテーブルに対する CREATE、INSERT、UPDATE などの標準 SQL 操作をサポートします。
• タイムトラベルを有効にし、ユーザーがデータの以前のバージョンをクエリできるようにします。
• ALTER TABLE コマンドによるスキーマ進化を容易にします。
• テーブルへの経時的な変更を追跡する変更データフィードを提供します。
• DuckDB、PostgreSQL、SQLite を含む複数のカタログバックエンドと互換性があります。