magda-io/magda

해결하는 문제

조직의 데이터는 종종 내부 시스템, 외부 포털, 파일, 데이터베이스, API 등 여러 곳에 분산되어 있어 무엇이 어디에 존재하는지 파악하기 어렵습니다. Magda는 데이터가 실제로 어디에 있든 관계없이 모든 데이터를 나열, 설명, 검색 및 추적할 수 있는 단일 카탈로그를 제공하여 이 문제를 해결합니다. 또한 데이터의 우선순위를 정하고 변경 사항이 발생할 때 사용자에게 알림으로써 사용자가 사용 가능한 데이터를 발견하고 최신 상태임을 신뢰할 수 있게 합니다.

작동 방식

Magda는 각각 특정 작업을 처리하는 작고 독립적인 서비스(마이크로서비스)로 구성되며, 모두 Docker 컨테이너로 번들됩니다. 핵심 구성 요소는 Registry로, aspects라고 하는 유연한 JSON 문서로 메타데이터를 저장합니다. 커넥터는 외부 데이터 소스(예: 오픈 데이터 포털)에 연결하여 메타데이터를 Registry에 복사합니다. Minions는 변경 사항을 수신하고 링크가 여전히 작동하는지 확인하거나 품질 점수를 계산하는 등의 강화 작업을 실행한 후 결과를 다시 씁니다. 그런 다음 메타데이터는 OpenSearch 클러스터에 인덱싱되어 빠르고 확장 가능한 검색을 지원하며, 사용자 인터페이스를 통해 사용자는 한 곳에서 모든 것을 탐색하고 쿼리할 수 있습니다. 전체 시스템은 Kubernetes에서 실행되므로 모든 클라우드, 온프레미스 또는 로컬에 설치할 수 있으며, 새로운 Docker 기반 서비스를 추가하여 쉽게 확장할 수 있도록 설계되었습니다.

대상 사용자

Magda는 모든 데이터에 대한 통합 보기를 원하는 조직을 대상으로 합니다. 내부 기업 데이터 세트를 관리하거나 공개 데이터를 대중에게 공개하는 경우 모두 해당됩니다. data.gov.au에서 오픈 데이터 검색 엔진으로 1년 이상 프로덕션 환경에서 사용되었으며, 조직 내 범용 데이터 카탈로그로도 적합합니다(README에는 일부 기능이 아직 미완성이라고 명시되어 있음). Kubernetes를 아는 개발자는 설치하고 사용자 지정할 수 있으며, 기여자는 개선을 돕기 위해 환영받습니다.

주요 기능

• OpenSearch 기반의 강력하고 확장 가능한 검색
• 외부 데이터 소스에서 메타데이터를 빠르게 집계
• 대부분의 스키마를 지원하는 중립적인 중앙 메타데이터 저장소
• 페더레이션 인증(Google, Facebook, WSFed, AAF, CKAN 또는 사용자 지정 공급자)
• 클라우드에 구애받지 않음—Kubernetes를 통해 거의 모든 클라우드, 온프레미스 또는 로컬 머신에 배포 가능
• 새 Docker 이미지를 추가하여 모든 언어로 확장 작성 가능