lakekeeper/lakekeeper

해결하는 문제

Lakekeeper는 다양한 컴퓨팅 엔진 간에 Apache Iceberg 테이블을 중앙 집중식으로 관리할 수 있는 안전한 방법을 제공합니다. Spark, Trino, Starrocks와 같은 각 엔진마다 접근 제어 규칙을 중복해서 정의할 필요가 없으며, 보안 정책을 카탈로그에서 한 번만 정의하고 데이터 레이크하우스 전체에서 일관되게 적용할 수 있습니다.

작동 방식

Apache Iceberg REST 카탈로그 사양의 Rust 기반 구현체입니다. Lakekeeper는 데이터를 읽기 전에 정의된 정책에 따라 모든 요청을 검사하는 게이트웨이 역할을 합니다. 주요 클라우드 공급자(AWS, Azure, GCP) 및 온프레미스 S3 스토어에서는 발급된 자격 증명과 원격 서명을 사용하여 스토리지 접근을 관리합니다. 인증에는 OpenID 제공자와 통합되며, 기본적으로 OpenFGA를 사용하여 세밀한 접근 제어를 수행합니다.

대상 사용자

다양한 쿼리 엔진 간에 테이블 메타데이터와 접근 권한을 관리할 필요가 있는 데이터 엔지니어 및 플랫폼 아키텍트를 위한 것입니다.

주요 특징

• 통합 접근 제어: 보안 정책을 한 번만 정의하고 모든 연결된 컴퓨팅 엔진에서 일관되게 적용 가능.
• Rust 기반: JVM 또는 Python 환경을 필요로 하지 않고 단일 바이너리로 제공.
• 스토리지 독립: S3, Azure ADLS Gen2, Google Cloud Storage, Microsoft OneLake를 지원.
• 확장성 있는 아키텍처: 사용자 정의 데이터베이스 구현, 시크릿 저장소, 인가자, 이벤트 백엔드를 위한 트레이트 제공.
• 변경 추적: 테이블 변경에 반응하기 위한 CloudEvents 내장 지원.
• 다중 테넌트: 하나의 배포로 여러 프로젝트와 웨어하우스를 동시에 서비스 가능.