google-research/arco-era5

해결하는 문제

ERA5는 약 5페타바이트에 달하는 방대한 기후 데이터셋으로, 직접 다운로드하고 작업하기 어렵습니다. 이 프로젝트는 Google Cloud에 선별된 사본을 호스팅하고 두 가지 사용 가능한 형식으로 제공함으로써 이러한 장벽을 제거합니다: 클라우드 최적화 버전(원본 grib 형식에서 Zarr로 단순 변환)과 분석 준비 버전(연구 및 머신러닝에서 쉽게 사용할 수 있도록 재격자화 및 전처리됨). 또한 누구나 데이터셋을 직접 재현할 수 있도록 공개 레시피를 제공합니다.

작동 방식

이 프로젝트는 ERA5(1979년부터 현재까지의 전 지구 시간별 재분석 데이터)에서 데이터를 가져와 두 가지 방식으로 처리합니다. 첫째, 원본 grib 파일을 Zarr로 변환합니다. Zarr는 데이터 슬라이스에 효율적으로 접근할 수 있는 클라우드 친화적 형식입니다. 둘째, 균일한 0.25도 격자에 분석 준비 버전을 생성하고, 지표 및 대기 변수를 결합하고 표준 청킹을 적용합니다. 모든 데이터는 공개 Google Cloud 버킷에 저장되며, 원본, 클라우드 최적화, 분석 준비 파일용 폴더가 있습니다. 데이터셋은 매월 업데이트됩니다(안정적인 ERA5는 약 3개월 지연, 예비 ERA5T는 약 1주일 지연). valid_time_start 및 last_updated와 같은 메타데이터 속성은 사용자가 포함된 정확한 시간 범위를 알 수 있게 합니다. 프로젝트에는 빠르게 시작할 수 있는 Colab 노트북도 포함되어 있습니다.

대상 사용자

원시 grib 파일을 관리하는 번거로움 없이 대규모 기후 데이터가 필요한 연구자와 머신러닝 실무자를 위한 것입니다. 모델 훈련을 위해 바로 사용할 수 있는 데이터셋을 원하는 사람(분석 준비 버전은 GraphCast 및 NeuralGCM이 훈련된 데이터의 상위 집합)이나 보간을 세밀하게 제어해야 하며 클라우드 최적화된 원시 Zarr 버전을 사용할 수 있는 사람에게 특히 유용합니다.

주요 특징

• 두 가지 형식: 클라우드 최적화 Zarr(유연성) 및 분석 준비 재격자 데이터(편의성)
• 공개 및 무료: Google Cloud Public Datasets에서 호스팅되며 익명 액세스 가능
• 재현 가능: 처리 파이프라인의 모든 단계가 공개되고 문서화됨
• 쉬운 시작: Colab 노트북에서 데이터 로드 및 작업 방법을 보여줌
• 정기 업데이트: 시간 범위에 대한 명확한 메타데이터와 함께 월간 업데이트