google-research/arco-era5

解決する問題

ERA5は巨大な気候データセット（約5ペタバイト）であり、直接ダウンロードして扱うのは困難です。このプロジェクトは、Google Cloudに厳選されたコピーをホストし、2つの利用可能な形式で提供することで、その障壁を取り除きます：クラウド最適化版（元のgrib形式からZarrに単純に変換）と分析準備版（研究や機械学習で簡単に使用できるよう再グリッド化および前処理済み）。また、誰でも自分でデータセットを再現できるようにオープンなレシピも提供します。

仕組み

このプロジェクトは、ERA5（1979年から現在までの全球毎時再解析）からデータを取得し、2つの方法で処理します。まず、元のgribファイルをZarrに変換します。これはクラウドに適した形式で、データのスライスへの効率的なアクセスを可能にします。次に、均一な0.25度グリッド上に分析準備版を作成し、地表および大気変数を組み合わせ、標準的なチャンク化を適用します。すべてのデータは公開のGoogle Cloudバケットに保存され、生データ、クラウド最適化、分析準備済みファイル用のフォルダがあります。データセットは毎月更新されます（安定したERA5では約3か月の遅延、暫定ERA5Tでは約1週間の遅延）。valid_time_startやlast_updatedなどのメタデータ属性により、ユーザーは含まれる正確な時間範囲を把握できます。プロジェクトには、すぐに始めるためのColabノートブックも含まれています。

対象者

生のgribファイルを管理する手間なしに大規模な気候データを必要とする研究者や機械学習実践者向けです。モデルをトレーニングするためのすぐに使えるデータセットを求める人（分析準備版はGraphCastやNeuralGCMがトレーニングされたデータのスーパーセットです）や、補間を細かく制御する必要があり、クラウド最適化された生のZarrバージョンを使用できる人に特に役立ちます。

ハイライト

• 2つの形式：クラウド最適化Zarr（柔軟性）と分析準備済み再グリッドデータ（利便性）
• 公開・無料：Google Cloud Public Datasetsでホストされ、匿名アクセス可能
• 再現可能：処理パイプラインのすべてのステップが公開され、文書化されています
• 簡単に開始：Colabノートブックでデータの読み込みと操作方法を示します
• 定期的な更新：時間範囲を明確にするメタデータ付きの毎月の更新