databrickslabs/ontobricks

何を解決するか

OntoBricksは、Databricksのテーブルに格納された構造化データをクエリ可能な物質化された知識グラフに変換するプロセスを簡素化します。オントロジーの設計、データのマッピング、三つ組ストアの管理といった手作業を排除し、メタデータのインポートからグラフの可視化までを統合されたWebアプリケーションで自動化するパイプラインを提供します。

動作方法

OntoBricksは、Databricks Unity Catalogのテーブルをグラフに変換するための複数ステップのパイプラインを使用しています：

1. オントロジー設計：ユーザーは視覚的なキャンバスでオントロジー（OWL）を作成するか、業界標準をインポートできます。LLMを活用したアシスタントが自然言語でエンティティと関係の設計を支援します。
2. マッピング：システムはR2RMLを使用してオントロジーのエンティティをテーブルにマッピングします。LLMはこれらのSQLマッピングの生成を自動化できます。
3. 物質化：データは三つ組ストアに物質化されます。本プロジェクトはLakebase（Postgres）、Lakehouse（Unity Catalog Deltaテーブル）、Neo4jの複数のバックエンドをサポートしています。
4. クエリと推論：結果のグラフは自動生成されたGraphQL APIと視覚的なビューアを通じて公開されます。ユーザーはOWL 2 RL推論、SWRLルール、SHACL検証を実行してデータに対して推論を行うことができます。

対象ユーザー

Databricksエコシステム内で作業するデータエンジニアやアーキテクト向けです。複雑なデータ分析、データ品質の検証、または意味的検索のために知識グラフを構築する必要がある方々に最適です。

特徴

• LLM駆動の自動化：メタデータからオントロジーとSQLマッピングを生成する「4クリック」パイプライン。
• プラグイン可能なグラフバックエンド：Lakebase（Postgres）、Lakehouse（Delta）、Neo4jをサポート。
• 高度なグラフ分析：データクラスタ検出（Louvain、ラベル伝搬）とエンティティのグループ化を目的としたコホート発見を含む。
• 意味的推論：OWL 2 RL、SWRLルール、SHACL制約の組み込みサポート。
• Unity Catalog統合：Unity Catalogの関数をオントロジークラスにバインドし、グラフノード上で実行可能なアクションとして利用可能。