lakekeeper/lakekeeper

解決する課題

Lakekeeperは、さまざまなコンピューティングエンジン間でApache Icebergテーブルを一元的に管理する安全な中央集権的な方法を提供します。Spark、Trino、Starrocksなどの各エンジンごとにアクセス制御ルールを繰り返し定義する必要がなくなり、セキュリティポリシーをカタログで一度定義し、データレイクハウス全体で一貫して適用できるようになります。

動作方法

Apache Iceberg RESTカタログ仕様のRustベース実装です。Lakekeeperはゲートウェイとして機能し、データの読み取り前に定義されたポリシーに基づいてすべてのリクエストを検証します。主要なクラウドプロバイダー（AWS、Azure、GCP）およびオンプレミスのS3ストアでは、発行された資格情報とリモート署名を使用してストレージアクセスを管理します。認証にはOpenIDプロバイダーを統合し、デフォルトでOpenFGAを使用して細かいアクセス制御を実現しています。

対象ユーザー

複数のクエリエンジン間でテーブルメタデータとアクセス権限を管理する必要がある、オープンなレイクハウスを構築するデータエンジニアおよびプラットフォームアーキテクト向けです。

主な特徴

• 統一されたアクセス制御: セキュリティポリシーを一度定義し、すべての接続されたコンピューティングエンジンで適用可能。
• Rust駆動: JVMやPython環境を必要とせず、単一のバイナリとして提供。
• ストレージ非依存: S3、Azure ADLS Gen2、Google Cloud Storage、Microsoft OneLakeをサポート。
• 拡張性のあるアーキテクチャ: データベース実装、シークレットストア、承認者、イベントバックエンドのカスタマイズにためのトレイトを提供。
• 変更追跡: テーブルの変更に反応するためのCloudEventsの発行を内蔵サポート。
• マルチテナント: 1つのデプロイで複数のプロジェクトやウェアハウスをサービス可能。