unitycatalog/unitycatalog

解决的问题

Unity Catalog 提供一个通用的开源目录，用于管理数据和 AI 资产。它通过允许用户在单一界面中安全地治理表格数据、非结构化资产和 AI 模型，解决了治理碎片化的问题，无论底层格式或计算引擎如何。

工作原理

它作为一个多模态接口运行，具备开放 API（OpenAPI 规范）和开源实现。支持多种数据格式（如 Delta Lake、Apache Iceberg、Apache Hudi、Parquet、JSON 和 CSV），并与 Apache Hive 的元存储 API 和 Apache Iceberg 的 REST 目录 API 兼容。这使得各种计算引擎能够读取和管理目录化数据。

适用对象

本项目适用于需要在不同工具和引擎之间统一治理和保护多样化数据与 AI 资产的数据工程师、AI 实践者以及组织。

主要亮点

• 统一治理：通过单一界面管理表、文件、函数和 AI 模型。
• 多模态支持：支持任意格式（如 Delta Lake、Iceberg、Hudi 等）和任意计算引擎的可扩展性。
• 开放标准：基于 OpenAPI 规范，由 LF AI & Data Foundation 主持托管。
• 广泛生态：获得 AWS、Google Cloud、Microsoft Azure 和 NVIDIA 等众多行业合作伙伴的支持。