google-research/arco-era5

解决的问题

ERA5是一个庞大的气候数据集（约5拍字节），难以直接下载和使用。该项目通过在Google Cloud上托管精选副本，并提供两种可用格式来消除这一障碍：云优化版本（简单地从原始grib格式转换为Zarr）和分析就绪版本（重新网格化并预处理，便于研究和机器学习使用）。它还提供开放的配方，任何人都可以自行复现这些数据集。

工作原理

该项目从ERA5（覆盖1979年至今的全球每小时再分析数据）获取数据，并以两种方式处理。首先，它将原始grib文件转换为Zarr，这是一种云友好的格式，允许高效访问数据切片。其次，它在统一的0.25度网格上创建分析就绪版本，结合地表和大气变量，并应用标准分块。所有数据存储在公共Google Cloud存储桶中，包含原始、云优化和分析就绪文件的文件夹。数据集每月更新（稳定ERA5延迟约3个月，初步ERA5T延迟约1周）。元数据属性如valid_time_start和last_updated帮助用户准确了解包含的时间范围。项目还包括Colab笔记本，以便快速入门。

适用对象

适用于需要大规模气候数据而无需管理原始grib文件的研究人员和机器学习从业者。特别适合那些想要现成数据集来训练模型的人（分析就绪版本是GraphCast和NeuralGCM训练数据的超集），或者需要精细控制插值并可以使用云优化原始Zarr版本的人。

亮点

• 两种格式：云优化Zarr（灵活性）和分析就绪重新网格化数据（便利性）
• 公共免费：托管在Google Cloud公共数据集上，支持匿名访问
• 可复现：处理管道的每一步都是开放和文档化的
• 易于开始：Colab笔记本展示如何加载和使用数据
• 定期更新：每月节奏，带有清晰的时间覆盖元数据