ServiceNow/Fast-LLM

何を解決するか

Fast-LLM は、大規模言語モデル（LLM）の学習を高速化するためのライブラリであり、1B～70B以上のパラメータを持つモデルの学習にかかる時間とコストを削減します。大規模なGPUクラスタ上でモデルを学習する際のスケーラビリティとメモリ効率の課題に対処しています。

どう動くか

PyTorch と Triton を基盤として構築されており、最適化されたカーネルと高度な並列化技術を使用してスループットを最大化しています。3D並列化（データ並列、テンソル並列、パイプライン並列）、シーケンス長並列化、および ZeRO-1、2、3 を用いたメモリ最適化を実装しています。また、ミックスドプレシジョン学習と勾配蓄積をサポートし、大規模バッチ処理に対応しています。

対象ユーザー

スラムや Kubernetes などの高性能コンピューティングクラスタを使用して、大規模な生成AIモデルをゼロから学習するか、微調整を行う必要があるAI研究チームや実践者向けです。

主な特徴

• 高スループット: たとえば、Mistral-7B の学習で H100 あたり 9,800 tokens/s を達成。
• スケーラビリティ: 複数ノードおよびGPU間での分散学習をサポートし、包括的な並列化オプションを提供。
• 柔軟性: 一般的な GPT風アーキテクチャと互換性があり、効率的なドロップレス Mixture-of-Experts（MoE）実装を含む。
• 使いやすさ: 事前構築された Docker イメージ、YAMLベースの設定、Hugging Face Transformers とのシームレスな統合を提供。