NVIDIA/makani

해결하는 문제

Makani는 기계학습 기반 기상 및 기후 예측 모델의 대규모 병렬 학습 및 추론을 위한 PyTorch 기반 라이브러리입니다. 수백 개의 GPU에서 대규모 모델을 학습하는 과제, 거대한 데이터셋(예: ERA5)을 관리하는 문제, GPU 메모리 사용량을 최적화하여 메모리 부족(OOM) 오류를 방지하는 것을 해결합니다.

작동 방식

Makani는 FourCastNet3, SFNO, ViT 등 다양한 아키텍처를 지원하는 새로운 기상 모델 개발을 위한 모듈식 프레임워크를 제공합니다. 100개 이상의 GPU에 걸쳐 학습을 확장하기 위해 공간적 모델 병렬, 앙상블 병렬, 채널 병렬과 같은 여러 병렬 전략을 사용합니다. 성능 최적화를 위해 자동 혼합 정밀도(AMP), 즉시 컴파일(JIT), 활성화 체크포인팅을 지원합니다. 학습 및 추론은 모두 .yaml 파일을 통해 완전히 구성 가능하며, HDF5 형식의 기상 데이터를 처리하고 WeatherBench2와의 호환성을 보장하기 위한 포괄적인 데이터 처리 스크립트도 포함되어 있습니다.

대상 사용자

기계학습 기반 기상 및 기후 예측 연구에 종사하며 고성능 컴퓨팅(HPC) 인프라에 학습을 확장하고자 하는 연구자들을 주요 대상으로 합니다.

주요 특징

• 대규모 확장성: 모델 병렬 및 데이터 병렬을 활용해 100개 이상의 GPU에서 학습을 지원합니다.
• 유연한 구성: 모델, 손실 함수, 최적화기, 스케줄러를 모두 YAML 파일로 완전히 구성 가능합니다.
• 모듈식 설계: 사용자 정의 학습 및 추론 레시피를 지원하는 모듈식 메트릭 및 손실 함수.
• 포괄적인 데이터 파이프라인: HDF5 데이터 변환, 통계 계산, WeatherBench2 통합을 위한 도구 포함.
• 메모리 최적화: 활성화 체크포인팅 및 특정 CUDA 할당기 설정을 통합하여 버퍼 분할 문제를 완화합니다.