Llama 4 Maverick と Scout のリリースノート

Metaは、Mixture-of-Experts（MoE）アーキテクチャに基づく、ネイティブにマルチモーダルな大規模言語モデルであるLlama 4 MaverickとLlama 4 Scoutのリリースを発表しました。これらのモデルは、コンテキストウィンドウ容量、マルチモーダル処理、アーキテクチャ効率において大幅な進歩をもたらし、両モデルともに17Bのアクティブパラメータを使用しています。

モデルのバリエーションと仕様

Llama 4は、異なるデプロイ規模に合わせた2つの主要なモデルバリエーションを導入します。

  • Llama 4 Maverick: 総パラメータ数が約400B、エキスパートが128で、17Bのアクティブパラメータを使用する高容量モデルです。
  • Llama 4 Scout: 総パラメータ数が約109B、エキスパートが16で、17Bのアクティブパラメータを使用する効率的なモデルです。

両モデルは、200言語にわたる最大40兆トークンで訓練され、アラビア語、スペイン語、ドイツ語、ヒンディー語など12言語に対する専門的なファインチューニングが施されています。早期融合によるネイティブなマルチモーダリティを活用し、テキストと画像入力を同時に処理できます。

アーキテクチャ上のイノベーション

Llama 4は、極端なコンテキスト長をサポートし、計算効率を向上させるために、いくつかの新しいアーキテクチャ上の選択を採用しています。

iRoPE アーキテクチャと NoPE レイヤー

長いコンテキストを管理するために、Llama 4は iRoPE アーキテクチャを使用し、従来の Rotary Positional Embeddings（RoPE）と NoPE（No Positional Encoding） レイヤーを交互に配置します。NoPE レイヤーは4層ごとに現れ、コンテキスト全体に対して完全な因果マスクを使用し、長いシーケンスでの性能維持に重要です。

チャンクドアテンション

RoPE レイヤー（4層のうち3層）では、Llama 4は チャンクドアテンション を実装しています。チャンクドアテンション長は8,192で、これらの層は8Kブロック単位でコンテキストを追跡し、標準的なアテンションに比べてメモリと計算コストを削減します。

アテンション温度チューニング

非常に長いシーケンスでアテンション確率スコアがゼロに近づくこと（softmax の一般的な問題）を防ぐため、Llama 4は NoPE レイヤーで 温度チューニング（スケーリングされた softmax）を使用し、任意のコンテキスト長にわたる汎化性能を向上させます。

追加の技術的強化

  • QK 正規化: Llama 4 Scout は、埋め込み適用後の RoPE レイヤーにおける Query と Key の状態に対して、学習可能パラメータを持たない RMS 正規化を使用します。
  • MoE インタリーブ: Scout がフル MoE であるのに対し、Maverick は MoE と密結合層を交互に配置し、エキスパートは層の半分にのみ適用されます。
  • 共同蒸留: Maverick は、より大きなモデルである Llama Behemoth から、学生と教師のロジットを重み付けする動的損失関数を用いて共同蒸留されました。
  • MetaP: これらのモデルは MetaP を利用しており、トレーニング予算とモデルサイズに跨るハイパーパラメータの最適チューニング手法です。

コンテキストウィンドウとパフォーマンス

Llama 4 モデルは 256K のコンテキスト長で事前学習されており、指示チューニングされたバリアントはこの容量を大幅に拡張します：

モデル 指示あり コンテキスト長
Scout (16E) はい 10M
Maverick (128E) はい 1M
Scout (16E) いいえ 256K
Maverick (128E) いいえ 256K

評価とベンチマーク

指示チューニングされた Llama 4 モデルは、Llama 3.1 405B などの前世代モデルを、推論、知識、マルチモーダルタスクで上回ります：

  • 推論と知識: Maverick は MMLU Pro で 80.5%、GPQA Diamond で 69.8% を達成しています。
  • コーディング: Maverick は LiveCodeBench（pass@1）で 43.4% のスコアです。
  • マルチモーダル推論: Maverick は MMMU で 73.4%、ChartQA で 90.0% を達成しています。
  • 画像理解: Scout は DocVQA（事前学習）で 91.6%、DocVQA テスト（指示チューニング）で 94.4% を記録しています。

デプロイと統合

Llama 4 は transformers v4.51.0、Text Generation Inference（TGI）、および Xet ストレージバックエンドを通じて Hugging Face エコシステムに統合されています。

  • 量子化: Llama 4 Scout は、単一のサーバーグレード GPU に収まるように、オンザフライで 4 ビットまたは 8 ビットの量子化をサポートします。Llama 4 Maverick は BF16 と FP8 フォーマットで利用可能です。
  • ストレージ: Xet ストレージの使用により、ベースモデルで約 25% の重複排除、派生モデルで最大 40% の重複排除が実現し、アップロードとダウンロードが高速化されます。
  • ライセンス: モデルはカスタムの Llama 4 Community License Agreement の下でリリースされています。

Sources