datahub-project/datahub

DataHub – オープンソースAI対応メタデータカタログ

何であるか – DataHubは、組織内のすべてのデータ資産（テーブル、ダッシュボード、MLモデル、パイプラインなど）の統合グラフを構築するオープンソースの「メタデータプラットフォーム」です。LinkedInで開発され、2020年にオープンソース化され、現在はDataHubプロジェクトと貢献者コミュニティによって維持されています。

なぜ重要か – 現代のデータスタックは多数のツールに分散しています。適切なデータセットを見つけること、その出典を理解すること、ガバナンスを維持することは困難です。DataHubは、数十のソースからメタデータを継続的にインジェストし、リアルタイムグラフに格納し、人間とAIエージェントの両方がクエリ可能な豊富なAPIを提供することで、この課題を解決します。

コア機能（READMEに記載）

リアルタイムストリーミングインジェスト – メタデータの更新は数秒でKafkaを経由して流れ、カタログを最新の状態に保ちます。
80以上のコネクタ – ワンダハウス（Snowflake、BigQuery、Redshift）、レイク、BIツール、dbt、Airflow、MLプラットフォームなどからメタデータを取得または送信し、スキーマ、ラインエージェンス、使用統計、プロファイリング、品質メトリクスをキャプチャします。
AI対応 – Model Context Protocol（MCP）と新しくオープンソース化されたAnalytics Agentを介して、LLM駆動のエージェントにネイティブ対応。自然言語によるデータ質問にSQL、結果、チャートを返すことができます。
豊富なUI – 検索、カラムレベルのラインエージェンス、データセットプロファイル、ガバナンスダッシュボード、タグ/用語/ドメイン、および全体スタックにわたる「ユニバーサル検索」。
開発者最優先のAPI – GraphQL、OpenAPI、PythonおよびJava SDK、および自動化用CLI（datahub）。
デプロイの柔軟性 – SaaS（DataHub Cloud）、Docker-composeによるクイックスタート、またはKubernetes向けの本格的なHelmチャート。プラットフォームにはGMSバックエンド、Elasticsearch、MySQL、Kafkaが含まれます。
エンタープライズグレードのセキュリティ – 認証、承認、監査ログ、細粒度ポリシー。

一般的なユースケース

ユースケース	DataHubの役割
データ発見	ユニバーサル検索により、アナリストが任意の資産を瞬時に検索可能。UIはスキーマ、所有者、ドキュメントを表示します。
データラインエージェンスとインパクト分析	カラムレベルのラインエージェンスグラフにより、上流のソースと下流の消費者を可視化。変更の影響評価に役立ちます。
ガバナンスとコンプライアンス	タグ付け、ドメイン分類、ポリシーダッシュボードにより、チームはデータプライバシー規則（例：PIIの取り扱い）を強制できます。
AIエージェントのコンテキスト	カタログはMCPを介してLLMエージェントに最新のメタデータを提供し、信頼性の高い自然言語クエリ（オープンソースのAnalytics Agent）を可能にします。
自動化とCI/CD	インジェストレシピ（YAML）をCIパイプラインから実行可能。Python SDKにより、プログラムからドキュメントやカスタムプロパティを追加できます。
セルフサービス分析	ユーザーは平易な英語で質問できます。Analytics AgentがSQLを生成し、実行して結果/チャートを返します。

クイックスタート（最短経路）

CLIのインストール – brew install datahub-project/tap/datahub（macOS/Linux） または pip install acryl-datahub。
Dockerクイックスタートの実行 – datahub docker quickstart。これにより、フルスタック（GMS、UI、Elasticsearch、MySQL、Kafka）が起動し、サンプルデータがロードされます。
ブラウザで http://localhost:9002 を開く（デフォルトの認証情報：datahub / datahub）。
インジェストガイド（例：READMEに示されたSnowflakeレシピ）またはPython SDKを使って、自前のソースに接続します。

本番環境では、docs/deploy/kubernetes.md のHelmチャートまたはマネージドSaaS（DataHub Cloud）をご利用ください。

コミュニティとリソース

Slack – https://datahub.com/slack
YouTube – チュートリアルと製品デモ（https://www.youtube.com/@DataHubCloud）
ブログ – コンテキスト管理、ラインエージェンス、メタデータに関する深掘り記事（https://datahub.com/blog）
GitHub – ソースコード、イシュー追跡、貢献ガイド（現在読んでいるリポジトリ）
Analytics Agent – LLM統合を示す補助リポジトリ（datahub-project/analytics-agent）

TL;DR

DataHubは、生産環境対応のオープンソースメタデータカタログであり、すべてのデータ資産に関する情報を中央集権化し、ストリーミングインジェストで最新状態を維持し、人間とAIエージェントの両方に対して強力なAPIを提供します。Dockerで数分でローカル実行可能、pip/Homebrewでインストール可能、Helmでスケールアウト可能で、データ発見、ガバナンス、LLM駆動分析の実用的な基盤となります。