duckdb/ducklake

해결하는 문제

DuckLake는 구조화된 SQL 데이터베이스와 파일 기반 데이터 저장소 사이의 간극을 메우는 개방형 Lakehouse 형식을 제공합니다. 스키마 관리 및 데이터 업데이트와 같은 관계형 데이터베이스의 이점을 유지하면서 실제 데이터는 표준 Parquet 파일에 저장할 수 있습니다.

작동 방식

DuckLake는 데이터와 메타데이터를 분리합니다. 메타데이터는 카탈로그 데이터베이스(DuckDB, PostgreSQL 또는 SQLite일 수 있음)에 저장하고 실제 데이터는 Parquet 파일에 유지합니다. DuckLake 확장 프로그램을 DuckDB에 설치하면 이러한 저장 위치를 연결하고 로컬 데이터베이스 테이블인 것처럼 표준 SQL 명령을 사용하여 상호 작용할 수 있습니다.

대상 사용자

이 도구는 DuckDB를 사용하고 ACID 트랜잭션, 스키마 진화, 과거 데이터 액세스와 같은 기능을 요구하면서 Parquet 형식의 대규모 데이터 세트를 강력하게 관리해야 하는 데이터 엔지니어와 개발자를 위한 것입니다.

주요 기능

• Parquet 지원 테이블에 대한 CREATE, INSERT, UPDATE를 포함한 표준 SQL 작업을 지원합니다.
• 시간 이동을 지원하여 사용자가 데이터의 이전 버전을 쿼리할 수 있습니다.
• ALTER TABLE 명령을 통한 스키마 진화를 용이하게 합니다.
• 시간 경과에 따른 테이블 수정 사항을 추적하는 변경 데이터 피드를 제공합니다.
• DuckDB, PostgreSQL, SQLite를 포함한 여러 카탈로그 백엔드와 호환됩니다.