unitycatalog/unitycatalog

解决的问题

Unity Catalog 提供一个通用的开源目录，用于管理数据和 AI 资产。它通过允许用户在单一界面中治理和保护表格数据、非结构化资产和 AI 模型，解决了治理碎片化的问题，无论底层格式或计算引擎如何。

工作原理

它作为一个多模态接口运行，具备开放 API（OpenAPI 规范）和开源实现。支持多种格式（如 Delta Lake、Apache Iceberg、Apache Hudi、Parquet、JSON 和 CSV），并与 Apache Hive 的元存储 API 和 Apache Iceberg 的 REST 目录 API 兼容。这使得各种计算引擎能够读取和管理 Unity 中注册的数据。

适用人群

本项目适用于需要在不同工具和引擎之间统一管理与保护其数据和 AI 资产的数据工程师、AI 实践者以及组织。

主要亮点

• 多模态支持：管理表格、文件、函数和 AI 模型。
• 通用兼容性：支持多种数据格式，并与多种主流计算引擎兼容。
• 跨引擎治理：为结构化和非结构化数据以及 AI 资产提供统一治理。
• 开放标准：基于 OpenAPI 规范，由 LF AI & Data Foundation 主机托管。