duckdb/ducklake

解决的问题

DuckLake 提供了一种开放的湖仓格式，弥合了结构化 SQL 数据库与基于文件的数据存储之间的差距。它允许用户保留关系型数据库的优势（如模式管理和数据更新），同时将实际数据存储在标准的 Parquet 文件中。

工作原理

DuckLake 将数据与元数据分离。它将元数据存储在目录数据库（可以是 DuckDB、PostgreSQL 或 SQLite）中，并将实际数据保存在 Parquet 文件中。通过将 DuckLake 扩展安装到 DuckDB 中，您可以附加这些存储位置，并使用标准 SQL 命令像操作本地数据库表一样与它们交互。

适用人群

该工具适用于使用 DuckDB 的数据工程师和开发人员，他们需要一种稳健的方式来管理 Parquet 格式的大型数据集，同时需要 ACID 事务、模式演进和历史数据访问等功能。

亮点

• 支持对 Parquet 支持的表执行标准 SQL 操作，包括 CREATE、INSERT 和 UPDATE。
• 支持时间旅行，允许用户查询数据的先前版本。
• 通过 ALTER TABLE 命令促进模式演进。
• 提供变更数据流，以跟踪表随时间发生的修改。
• 兼容多种目录后端，包括 DuckDB、PostgreSQL 和 SQLite。