NVIDIA/Megatron-LM

何を解決するか

Megatron-LM は、数千台の GPU を横断して、20億から4620億パラメータの巨大なトランスフォーマーモデルをトレーニングするための GPU 最適化フレームワークを提供します。大規模言語モデルのトレーニングにおけるメモリと計算のボトルネックを、高度な分散トレーニング戦略を実装することで解決します。

どう動くか

このプロジェクトは2つの主要なコンポーネントに分かれています：

• Megatron Core: GPU最適化されたビルディングブロックの組み合わせ可能なライブラリ。基本的なトランスフォーマー構成要素を提供し、Tensor Parallelism (TP)、Pipeline Parallelism (PP)、Data Parallelism (DP)、Expert Parallelism (EP)、Context Parallelism (CP) といった複数の並列化戦略をサポートします。また、混合精度トレーニング（FP16、BF16、FP8、FP4）もサポートしています。
• Megatron-LM: Megatron Core と事前設定されたトレーニングスクリプトを組み合わせたリファレンス実装で、迅速な実験と研究を可能にします。

対象ユーザー

• MLエンジニア: 大規模モデル用のカスタムトレーニングパイプラインを構築する人。
• 研究チーム: 分散トレーニングやトランスフォーマーアーキテクチャに関する研究を行うチーム。
• フレームワーク開発者: 最適化された GPU カーネルを使って独自のトレーニングフレームワークを開発する開発者。

主な特徴

• 極めて高いスケーラビリティ: 最大6,144台のH100 GPUクラスタで最大4620億パラメータのモデルをトレーニング可能。
• 詳細な並列化: TP、PP、DP、EP、CP の完全なサポートにより GPU 利用率を最適化。
• 高い効率性: H100クラスタで最大47%のモデルFLOP利用率（MFU）を達成。
• クロスオーバー対応: Hugging Face と Megatron 形式間の双方向チェックポイント変換を可能にする Megatron Bridge を搭載。
• 現代的なアーキテクチャ対応: DeepSeek-V4 および Falcon-H1 ハイブリッドトランスフォーマー-Mambaアーキテクチャの初期サポート。