unitycatalog/unitycatalog

해결하는 문제

Unity Catalog은 데이터 및 AI 자산을 관리하기 위한 유니버설하고 오픈소스 카탈로그를 제공합니다. 사용자가 기반 데이터 형식이나 컴퓨팅 엔진에 관계없이 단일 인터페이스에서 테이블 데이터, 비구조화 자산, AI 모델을 보안하고 통제할 수 있도록 분산된 거버넌스 문제를 해결합니다.

작동 방식

OpenAPI 사양과 오픈소스 구현을 갖춘 다중 모달 인터페이스로 작동합니다. Delta Lake, Apache Iceberg, Apache Hudi, Parquet, JSON, CSV 등 다양한 데이터 형식을 지원하며, Apache Hive의 메타스토어 API 및 Apache Iceberg의 REST 카탈로그 API와 호환됩니다. 이를 통해 다양한 컴퓨팅 엔진이 카탈로그된 데이터를 읽고 관리할 수 있습니다.

대상 사용자

다양한 도구와 엔진을 통해 다양한 데이터 및 AI 자산을 통합적으로 거버넌스하고 보안하는 데 필요로 하는 데이터 엔지니어, AI 전문가, 조직을 위한 프로젝트입니다.

주요 특징

• 유니버설 거버넌스: 테이블, 파일, 함수, AI 모델을 하나의 인터페이스로 관리할 수 있습니다.
• 다중 모달 지원: Delta Lake, Iceberg, Hudi 등 어떤 형식이든, 어떤 컴퓨팅 엔진이든 확장 가능합니다.
• 오픈 표준: OpenAPI 사양 기반으로 LF AI & Data Foundation에서 호스팅됩니다.
• 넓은 생태계: AWS, Google Cloud, Microsoft Azure, NVIDIA 등 다수의 산업 파트너가 지원하고 있습니다.