EleutherAI/gpt-neox

解決する課題

GPT-NeoXは、数十億のパラメータを持つ大規模な自己回帰言語モデルをゼロから学習するために設計されています。大規模モデル開発の研究を加速させる学習技術を集約し、実装するための集中型フレームワークを提供します。

仕組み

NVIDIAのMegatron Language Modelをベースに、DeepSpeedの技術を組み込んだこのライブラリは、ZeROと3D並列処理を用いた分散学習を実装しています。幅広いハードウェア（NVIDIAおよびAMD GPU）や、Slurm、MPI、IBM Job Step Managerといったオーケストレーションツールをサポートしています。また、回転位置埋め込み（rotary positional embeddings）やalibi位置埋め込み、並列フィードフォワード・アテンション層、Flash Attentionなどのアーキテクチャ上の革新を取り入れ、パフォーマンスを最適化しています。

対象ユーザー

大規模な言語モデルをゼロから学習する必要がある学術機関、企業、政府の研究者や組織を対象としています。一般的な推論ニーズを目的としたものではなく、その場合はHugging Faceの transformers ライブラリを使用することを推奨しています。

ハイライト

• 幅広いハードウェアサポート: AWS、CoreWeave、LUMIなど、さまざまなクラウドやスーパーコンピューティング環境において、NVIDIAおよびAMD GPUと互換性があります。
• アーキテクチャの柔軟性: LLaMA 1 & 2、PaLM、Falcon、Pythiaといった一般的なアーキテクチャ向けの事前定義済み設定が含まれています。
• 高度な最適化: AmpereおよびHopper GPUで大幅な高速化を実現するFlash AttentionとNVIDIAのTransformer Engineをサポートしています。
• エコシステムとの統合: Hugging Faceのトークナイザーやtransformersと連携し、WandB、Comet、TensorBoardなどの監視ツールとも統合可能です。