databrickslabs/ontobricks

해결하는 문제

OntoBricks는 Databricks 테이블에 있는 구조화된 데이터를 쿼리 가능한 물질화된 지식 그래프로 변환하는 과정을 간소화합니다. 오ント로지 설계, 데이터 매핑, 삼중항 저장소 관리와 같은 수작업을 제거하고, 메타데이터 가져오기에서 그래프 시각화에 이르기까지 통합된 웹 애플리케이션을 통해 파이프라인을 자동화합니다.

작동 방식

OntoBricks는 Databricks Unity Catalog 테이블을 그래프로 변환하기 위한 다단계 파이프라인을 사용합니다:

1. 오ント로지 설계: 사용자는 시각적 캔버스를 통해 오ontrogy (OWL)를 생성하거나 산업 표준을 가져올 수 있습니다. LLM 기반 보조 도구는 자연어를 통해 엔티티와 관계를 설계하는 데 도움을 줍니다.
2. 매핑: 시스템은 R2RML을 사용하여 오ontrogy 엔티티를 테이블에 매핑합니다. LLM은 이러한 SQL 매핑의 생성을 자동화할 수 있습니다.
3. 물질화: 데이터는 삼중항 저장소에 물질화됩니다. 이 프로젝트는 Lakebase (Postgres), Lakehouse (Unity Catalog Delta 테이블), 또는 Neo4j와 같은 여러 백엔드를 지원합니다.
4. 쿼리 및 추론: 결과 그래프는 자동 생성된 GraphQL API와 시각적 뷰어를 통해 노출됩니다. 사용자는 OWL 2 RL 추론, SWRL 규칙, SHACL 검증을 실행하여 데이터에 대한 추론을 수행할 수 있습니다.

대상 사용자

복잡한 데이터 분석, 데이터 품질 검증, 또는 의미 기반 검색을 위해 지식 그래프를 구축해야 하는 Databricks 생태계 내에서 일하는 데이터 엔지니어 및 아키텍트를 위한 것입니다.

주요 기능

• LLM 기반 자동화: 메타데이터에서 오ontrogy와 SQL 매핑을 생성하는 '4클릭' 파이프라인.
• 플러그인 가능한 그래프 백엔드: Lakebase (Postgres), Lakehouse (Delta), Neo4j를 지원합니다.
• 고급 그래프 분석: 데이터 클러스터 탐지 (Louvain, 레이블 전파) 및 엔티티 그룹화를 위한 코호트 탐지 기능 포함.
• 의미적 추론: OWL 2 RL, SWRL 규칙, SHACL 제약 조건을 내장된 지원 기능으로 제공.
• Unity Catalog 통합: Unity Catalog 함수를 오ontrogy 클래스에 바인딩하여 그래프 노드에서 실행 가능한 액션으로 사용 가능.