unitycatalog/unitycatalog

해결하는 문제

Unity Catalog은 데이터 및 AI 자산을 관리하기 위한 유니버설하고 오픈소스 카탈로그를 제공합니다. 다양한 형식이나 컴퓨팅 엔진에 관계없이 단일 인터페이스에서 테이블 데이터, 비구조화 자산, AI 모델을 통합적으로 관리하고 보호할 수 있어, 분산된 거버넌스 문제를 해결합니다.

작동 방식

다중 모달 인터페이스로 작동하며, OpenAPI 사양과 오픈소스 구현을 제공합니다. Delta Lake, Apache Iceberg, Apache Hudi, Parquet, JSON, CSV 등 다양한 형식을 지원하며, Apache Hive의 메타스토어 API 및 Apache Iceberg의 REST 카탈로그 API와 호환됩니다. 이를 통해 다양한 컴퓨팅 엔진이 Unity에서 카탈로그된 데이터를 읽고 관리할 수 있습니다.

대상 사용자

다양한 도구와 엔진 간에 데이터 및 AI 자산을 통합적으로 관리하고 보호해야 하는 데이터 엔지니어, AI 전문가, 조직을 위한 프로젝트입니다.

주요 특징

• 다중 모달 지원: 테이블, 파일, 함수, AI 모델을 관리합니다.
• 유니버설 호환성: 다양한 데이터 형식과 주요 컴퓨팅 엔진과 호환됩니다.
• 엔진 간 거버넌스: 구조화된 데이터와 비구조화된 데이터, AI 자산에 대한 통합 거버넌스를 제공합니다.
• 오픈 표준: OpenAPI 사양 기반으로 LF AI & Data Foundation에서 호스팅됩니다.