magda-io/magda

解決する課題

組織のデータは、多くの場合、内部システム、外部ポータル、ファイル、データベース、API など、さまざまな場所に散在しており、何がどこに存在するかを把握することが困難です。Magda は、データが実際にどこにあるかに関係なく、すべてのデータを一覧表示、説明、検索、追跡できる単一のカタログを提供することで、この問題を解決します。また、データの優先順位付けを支援し、変更が発生したときにユーザーに通知するため、利用可能なデータを発見し、最新であることを信頼できます。

仕組み

Magda は、それぞれが特定のタスクを処理する小さな独立したサービス（マイクロサービス）で構成され、すべて Docker コンテナとしてバンドルされています。中心となるのは、Registry であり、aspects と呼ばれる柔軟な JSON ドキュメントとしてメタデータを保存します。コネクタは外部データソース（オープンデータポータルなど）に接続し、そのメタデータを Registry にコピーします。Minions は変更をリッスンし、リンクが機能するかどうかの確認や品質スコアの計算などのエンリッチメントタスクを実行し、結果を書き戻します。メタデータは OpenSearch クラスタにインデックスされ、高速でスケーラブルな検索を実現し、ユーザーインターフェースにより、ユーザーは1つの場所からすべてを閲覧およびクエリできます。システム全体は Kubernetes 上で実行されるため、任意のクラウド、オンプレミス、またはローカルにインストールでき、新しい Docker ベースのサービスを追加することで簡単に拡張できるように設計されています。

対象ユーザー

Magda は、すべてのデータの統合ビューを望む組織を対象としています。内部の企業データセットを管理する場合でも、公開データを一般に公開する場合でも対応します。data.gov.au でオープンデータ検索エンジンとして1年以上本番環境で使用されており、組織内の汎用データカタログとしても適しています（README には一部の機能がまだ不完全であると記載されています）。Kubernetes を知っている開発者はインストールしてカスタマイズでき、貢献者も改善に参加できます。

ハイライト

• OpenSearch による強力でスケーラブルな検索
• 外部データソースからのメタデータを迅速に集約
• ほとんどのスキーマをサポートする、意見に左右されない中央メタデータストア
• フェデレーション認証（Google、Facebook、WSFed、AAF、CKAN、またはカスタムプロバイダー経由）
• クラウドに依存しない——Kubernetes 経由でほぼすべてのクラウド、オンプレミス、またはローカルマシンにデプロイ可能
• 新しい Docker イメージを追加することで、任意の言語で拡張を記述可能