magda-io/magda

它解决的问题

组织的数据常常分散在许多地方——内部系统、外部门户、文件、数据库、API——这使得很难知道存在什么数据以及它们在哪里。Magda 通过提供一个统一的目录来解决这个问题，所有数据都可以在其中列出、描述、搜索和跟踪，无论数据实际存储在哪里。它还有助于对数据进行优先级排序，并在发生变化时通知用户，以便人们能够发现可用的数据并信任其是最新的。

工作原理

Magda 由小型、独立的服务（微服务）构建而成，每个服务处理特定任务，所有服务都打包为 Docker 容器。核心组件是一个 Registry，它将元数据存储为灵活的 JSON 文档，称为 aspects。连接器（Connectors）连接到外部数据源（如开放数据门户），并将其元数据复制到 Registry 中。Minions 监听变化并执行丰富任务——例如，检查链接是否仍然有效或计算质量分数——并将结果写回。然后，元数据被索引到 OpenSearch 集群中，以支持快速、可扩展的搜索，用户界面允许人们从一个地方浏览和查询所有内容。整个系统运行在 Kubernetes 上，因此可以安装在任何云、本地或本地环境中，并且设计为通过添加新的基于 Docker 的服务轻松扩展。

适用对象

Magda 面向希望对其所有数据拥有统一视图的组织——无论是管理内部企业数据集还是向公众发布开放数据。它已被 data.gov.au 作为开放数据搜索引擎在生产环境中使用超过一年，也适合作为组织内通用数据目录（尽管 README 指出某些功能仍不完善）。熟悉 Kubernetes 的开发人员可以安装和定制它，也欢迎贡献者帮助改进它。

亮点

• 由 OpenSearch 驱动的强大且可扩展的搜索
• 快速聚合来自外部数据源的元数据
• 无偏见的中央元数据存储，支持大多数模式
• 联邦认证（通过 Google、Facebook、WSFed、AAF、CKAN 或自定义提供商）
• 云无关——通过 Kubernetes 部署到几乎任何云、本地或本地机器
• 扩展可以用任何语言编写，通过添加新的 Docker 镜像实现