NVIDIA/Megatron-LM

해결하는 문제

Megatron-LM은 수천 개의 GPU를 통해 20억에서 4620억 파라미터에 이르는 거대한 트랜스포머 모델을 훈련하기 위한 GPU 최적화 프레임워크를 제공합니다. 대규모 언어 모델 훈련 시 발생하는 메모리 및 계산 병목 문제를 고급 분산 훈련 전략을 통해 해결합니다.

작동 방식

이 프로젝트는 두 가지 주요 구성 요소로 나뉩니다:

• Megatron Core: GPU 최적화된 빌딩 블록의 조합 가능한 라이브러리입니다. 기본적인 트랜스포머 구성 요소를 제공하며, 텐서 병렬성(TP), 파이프라인 병렬성(PP), 데이터 병렬성(DP), 전문가 병렬성(EP), 컨텍스트 병렬성(CP)과 같은 다양한 병렬 전략을 지원합니다. 또한 혼합 정밀도 훈련(FP16, BF16, FP8, FP4)도 지원합니다.
• Megatron-LM: Megatron Core와 사전 구성된 훈련 스크립트를 결합한 참조 구현체로, 빠른 실험과 연구를 가능하게 합니다.

대상 사용자

• ML 엔지니어: 대규모 모델용 맞춤형 훈련 파이프라인을 구축하는 사람.
• 연구 팀: 분산 훈련 및 트랜스포머 아키텍처에 대한 연구를 수행하는 팀.
• 프레임워크 개발자: 최적화된 GPU 커널을 사용해 자체 훈련 프레임워크를 개발하는 개발자.

주요 특징

• 극한의 확장성: 최대 6,144개의 H100 GPU 클러스터에서 최대 4620억 파라미터 모델을 훈련할 수 있습니다.
• 세부 병렬성: TP, PP, DP, EP, CP에 대한 완전한 지원으로 GPU 활용도를 최적화합니다.
• 고효율성: H100 클러스터에서 최대 47%의 모델 FLOP 활용도(MFU)를 달성합니다.
• 크로스오버 지원: Hugging Face와 Megatron 형식 간 양방향 체크포인트 변환을 지원하는 Megatron Bridge 포함.
• 현대적 아키텍처 지원: DeepSeek-V4 및 Falcon-H1 하이브리드 트랜스포머-Mamba 아키텍처에 대한 초기 지원.