awslabs/open-data-registry
A registry of publicly available datasets on AWS
解決する課題
クラウドで大規模なデータセットを共有することは、提供者と利用者の両方にとって難しい場合があります。このプロジェクトは、AWSでホストされている公開データセットのための集中型で検索可能なレジストリを提供することで、プロセスを簡素化します。ユーザーはデータの取得に費やす時間を減らし、Amazon Athena、EC2、LambdaなどのAWSツールを使用した分析に多くの時間を費やすことができます。
仕組み
データセットは、リポジトリ内にYAMLメタデータファイルを作成することで登録されます。このファイルは真実の源として機能し、データセット名、説明、連絡先情報、ライセンス、特定のAWSリソースの場所（S3バケットやSNSトピックなど）などの詳細を含みます。レジストリはこれらのファイルを使用して、AWSの公式オープンデータレジストリウェブサイトを自動的に更新し、発見のための構造化されたリストを提供します。
対象者
このプロジェクトは、政府機関、研究者、企業などのデータ提供者を対象としており、彼らのデータセットをAWSコミュニティに発見可能にしたいと考えています。また、自分のクラウドベースのプロジェクトのために高品質で公開されたデータを探して利用したいデータサイエンティストや開発者にも適しています。
ハイライト
- AWSインフラストラクチャでホストされている多様なデータセットの集中発見。
- 標準化されたメタデータ形式により、すべてのエントリの一貫性が保証されます。
- データの使用方法を示すチュートリアル、ツール、出版物を紹介する「データ・アット・ワーク」セクションが含まれています。
- 新しいデータセットや使用例のプルリクエストによるコミュニティ貢献を可能にします。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト