awslabs/open-data-registry
A registry of publicly available datasets on AWS
해결하는 문제
클라우드에서 대규모 데이터셋을 공유하는 것은 제공자와 사용자 모두에게 어려울 수 있습니다. 이 프로젝트는 AWS에서 호스팅되는 공개 데이터셋을 위한 중앙 집중식 검색 가능한 레지스트리를 제공하여 이 과정을 단순화합니다. 사용자가 데이터를 확보하는 데 들이는 시간을 줄이고 Amazon Athena, EC2 또는 Lambda와 같은 AWS 도구를 사용하여 분석에 더 많은 시간을 할애할 수 있도록 돕습니다.
작동 방식
데이터셋은 저장소 내에 YAML 메타데이터 파일을 생성하여 등록됩니다. 이 파일은 데이터셋 이름, 설명, 연락처 정보, 라이선스 및 특정 AWS 리소스 위치(예: S3 버킷 또는 SNS 주제)와 같은 세부 정보를 포함하는 진실의 원천 역할을 합니다. 레지스트리는 이러한 파일을 사용하여 AWS 공식 오픈 데이터 레지스트리 웹사이트를 자동으로 채우고 발견을 위한 구조화된 목록을 제공합니다.
대상 사용자
이 프로젝트는 정부 기관, 연구자, 기업과 같은 데이터 제공자를 대상으로 하며, AWS 커뮤니티에 데이터셋을 발견 가능하게 만들고자 합니다. 또한 자신의 클라우드 기반 프로젝트를 위해 고품질의 공개 데이터를 찾고 활용하려는 데이터 과학자와 개발자에게도 적합합니다.
주요 특징
- AWS 인프라에서 호스팅되는 다양한 데이터셋의 중앙 집중식 발견.
- 표준화된 메타데이터 형식으로 모든 항목의 일관성을 보장합니다.
- 데이터 사용 방법을 보여주는 튜토리얼, 도구 및 간행물을 소개하는 "데이터 인 액션" 섹션을 포함합니다.
- 새로운 데이터셋 또는 사용 예제에 대한 풀 리퀘스트를 통한 커뮤니티 기여를 가능하게 합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트