unitycatalog/unitycatalog

解決的問題

Unity Catalog 提供一個通用的開源目錄，用於管理資料與 AI 資產。它透過允許使用者在單一介面中治理與保護表格資料、非結構化資產與 AI 模型，解決了治理碎片化的問題，無論底層格式或運算引擎為何。

運作方式

它作為一個多模態介面運作，具備開放 API（OpenAPI 規範）與開源實作。支援多種格式（如 Delta Lake、Apache Iceberg、Apache Hudi、Parquet、JSON 與 CSV），並與 Apache Hive 的元資料儲存 API 及 Apache Iceberg 的 REST 目錄 API 相容。這使得各種運算引擎能夠讀取與管理 Unity 中註冊的資料。

適用對象

本專案適用於需要在不同工具與引擎之間統一管理與保護其資料與 AI 資產的資料工程師、AI 實務者以及組織。

主要亮點

• 多模態支援：管理表格、檔案、函數與 AI 模型。
• 通用相容性：支援多種資料格式，並與多種主流運算引擎相容。
• 跨引擎治理：為結構化與非結構化資料以及 AI 資產提供統一治理。
• 開放標準：基於 OpenAPI 規範，由 LF AI & Data Foundation 主機托管。