lakekeeper/lakekeeper

解決的問題

Lakekeeper 提供了一種安全且集中的方式，用於跨不同計算引擎管理 Apache Iceberg 表。它消除了為每個引擎（如 Spark、Trino 或 Starrocks）重複定義存取控制規則的需要，確保安全政策僅需在目錄中定義一次，並在整個資料湖house中一致執行。

工作原理

它是 Apache Iceberg REST 目錄規格的 Rust 實作。Lakekeeper 作為網關，在讀取資料前根據預定義的政策檢查每個請求。它使用發行的憑證與遠端簽章來管理主要雲端供應商（AWS、Azure、GCP）以及本地 S3 儲存的儲存存取。它與 OpenID 提供者整合以進行驗證，並預設使用 OpenFGA 實現細粒度存取控制。

適用對象

需要在多個查詢引擎之間統一、可擴展且安全地管理表元資料與存取權限的資料工程師與平台架構師。

主要亮點

• 統一存取控制：定義一次安全政策，並在所有連接的計算引擎中強制執行。
• Rust 驅動：以單一二進位檔形式交付，無需 JVM 或 Python 環境。
• 儲存無關：支援 S3、Azure ADLS Gen2、Google Cloud Storage 與 Microsoft OneLake。
• 可擴展架構：提供用於自訂資料庫實作、金鑰儲存、授權者與事件後端的 traits。
• 變更追蹤：內建支援發出 CloudEvents 以回應表變更。
• 多租戶：單一部署可服務多個專案與倉儲。