awslabs/open-data-registry
A registry of publicly available datasets on AWS
它解决的问题
在云中共享大型数据集对提供者和用户来说都可能很困难。该项目通过提供一个集中式、可搜索的注册表，用于托管在AWS上的公开数据集，简化了这一过程。它帮助用户减少获取数据的时间，更多时间用于使用AWS工具（如Amazon Athena、EC2或Lambda）进行分析。
工作原理
数据集通过在存储库中创建YAML元数据文件进行注册。该文件作为事实来源，包含数据集名称、描述、联系信息、许可和特定的AWS资源位置（如S3存储桶或SNS主题）等详细信息。注册表使用这些文件自动填充AWS官方开放数据注册网站，并提供结构化的列表以供发现。
适用对象
该项目面向数据提供者——如政府组织、研究人员和企业——他们希望让自己的数据集对AWS社区可见。它也适用于数据科学家和开发人员，他们希望为自己的基于云的项目寻找和利用高质量、公开可用的数据。
亮点
- 集中发现托管在AWS基础设施上的多样化数据集。
- 标准化的元数据格式确保所有条目的一致性。
- 包含“数据在工作”部分，展示教程、工具和出版物，演示如何使用数据。
- 通过拉取请求支持社区贡献，添加新数据集或使用示例。
相关
- 项目
ModernRelay/omnigraphOmnigraph 是一个基于 Lance 列式格式构建的开源图数据库，可在任何兼容 S3 的对象存储上运行。它提供类型化模式、多模态检索（图 + 向量 + 全文）、Git 风格的分支以及基于 Cedar 的安全策略，全部通过类似 Terraform 的 `cluster` 文件进行管理。专为长期运行的 AI 智能体设计，允许多个智能体共享一个版本化的世界模型，并在单个查询中检索上下文。
- 项目
- 项目
simonlin1212/global-stock-dataA Python-only skill that lets AI coding assistants fetch US-centric market data (quotes, K-lines, fundamentals, options Greeks, short-interest, SEC filings, macro rates, FX, Taiwan stocks, energy data) from 17 public sources. It provides 50+ endpoints across 16 logical layers, requires only the `requests` library, and includes a compliance tier table to guide commercial use.
- 项目