IBM Granite 4.1 LLMs リリースノート / テクニカルオーバービュー
IBM Granite 4.1 LLMs リリースノート / テクニカルオーバービュー
IBMは、3B、8B、30Bのパラメーターバリエーションからなる密結合型デコーダーオンリーLarge Language Models（LLM）のファミリーであるGranite 4.1をリリースしました。これらのモデルは約15兆トークンで訓練され、マルチステージのプリトレーニングと強化学習パイプラインを利用して、数学、コーディング、指示従従性において高いパフォーマンスを達成しており、特に8Bモデルはより大きなMixture-of-Experts（MoE）アーキテクチャと匹敵またはそれを上回っています。
モデルアーキテクチャ
Granite 4.1モデルはデコーダーオンリーの密結合型トランスフォーマーアーキテクチャを使用しています。3つのモデルサイズ（3B、8B、30B）は同じトレーニングパイプラインとデータ戦略を共有しており、特定のアーキテクチャの寸法のみが異なります。
主要なアーキテクチャコンポーネントには以下が含まれます：
- グループ化クエリアテンション (GQA)
- 回転位置埋め込み (RoPE)
- SwiGLU活性化関数
- RMSNorm
- 共有入力/出力埋め込み
| コンポーネント | 3B Dense | 8B Dense | 30B Dense |
|---|---|---|---|
| 埋め込みサイズ | 2560 | 4096 | 4096 |
| レイヤー数 | 40 | 40 | 64 |
| アテンションヘッドサイズ | 64 | 128 | 128 |
| アテンションヘッド数 | 40 | 32 | 32 |
| KVヘッド数 | 8 | 8 | 8 |
| MLP隠れ層サイズ | 8192 | 12800 | 32768 |
| MLP活性化関数 | SwiGLU | SwiGLU | SwiGLU |
| 位置埋め込み | RoPE | RoPE | RoPE |
5段階プリトレーニング戦略
これらのモデルは、広範なウェブスケールデータから高度にキュレートされたドメイン固有のコンテンツへと段階的にシフトする5段階戦略を使用して、約15兆トークンでスクラッチから訓練されます。
フェーズ1: 一般的なプリトレーニング
このフェーズでは、10兆トークンを使用して基礎的な言語理解を確立します。データ構成は主にCommonCrawl（約59%）、続いてCode（約20%）、Technical（約10.5%）、Math（約7%）、Multilingual（約2%）です。
フェーズ2: 数学とコードの焦点
フェーズ2では、数学とプログラミングデータの割合を増やすことで推論能力を向上させます。混合データには、Math（約35%）、Code（約30%）、CommonCrawl-HQ（約12%）、Technical（約10%）、Synthetic（約9%）、Multilingual（約3%）が含まれます。
フェーズ3 & 4: 高品質データアニーリング
これらの中間トレーニングフェーズは、高品質なデータミックスに焦点を当て、思考の連鎖（chain-of-thought）と合成指示データの導入を含みます。
- フェーズ3 (2Tトークン): CommonCrawl-HQ、Math、Code、Technical、Synthetic、長い思考の連鎖、および言語/コード指示をブレンドします。
- フェーズ4 (0.5Tトークン): 最高品質のデータに焦点を当ててモデルをさらに洗練させ、CommonCrawl-HQ（40%）、Code（20%）、Math（20%）に大きく重み付けされます。
フェーズ5: 長コンテキストトレーニング (LCE)
最終フェーズでは、段階的な拡張プロセス（32K、128K、最終的に512K）を通じて、コンテキストウィンドウを4Kから512Kトークンに拡張します。8Bおよび30Bモデルの512K拡張では、書籍80%とコードリポジトリデータ20%の混合を使用します。短コンテキストパフォーマンスの劣化を防ぐため、各LCEステージ後にモデルマージが行われます。
教師ありファインチューニング (SFT) と品質管理
Granite 4.1モデルは約410万の高品質サンプルを使用してSFTを受けます。データの完全性を確保するため、IBMはルールベースのフィルタリングとともにLLM-as-Judgeフレームワークを採用しています。
LLM-as-Judgeフレームワーク
このフレームワークは、指示従従性、正確性、完全性、簡潔さ、自然さ、および較正の6つの重み付けられた次元でアシスタントの応答を評価します。ジャッジはシステムプロンプト、ユーザー入力、および取得されたドキュメントを無視し、モデルの応答にstrictly焦点を当てます。ハルシネーション、誤った前提、または誤った計算などの重大な欠陥に対して、ハードリジェクトルールが適用されます。
SFTトレーニング構成
- コンピュート: 16ノード、ノードあたり4x GB200
- エポック: 3
- シーケンス長: 16,384トークン
- 有効バッチサイズ: 256サンプル/イテレーション
マルチステージ強化学習 (RL)
SFT後、モデルは破滅的忘却を最小限に抑えながら特定の能力を最適化するため、マルチステージRLパイプラインを経験します。
トレーニング方法論
モデルは、On-policy GRPO（グループ相対ポリシー最適化）とDAPO（デカップルドクリップとダイナミックサンプリングポリシー最適化）損失を使用します。パイプラインは4つの連続したステージから構成されます：
- マルチドメインRL: 数学、科学、論理、指示従従性、構造化出力、Text2SQL、時間的推論、および一般チャットのジョイントトレーニング。
- RLHF（人間からのフィードバックによる強化学習）: マルチリンガルスカラーリワードモデルを使用して、役立ちさと会話の質を向上させます。
- アイデンティティ＆ナレッジキャリブレーションRL: 自己識別能力を向上させる短いステージ（約40ステップ）。
- 数学RL: RLHFステージで失われた数学的推論パフォーマンスを回復および向上させるターゲットステージ。
パフォーマンスとベンチマーク
Granite 4.1モデルは、一般、数学、コード、マルチリンガルタスクにおいて強いパフォーマンスを示しています。注目すべき発見として、Granite 4.1-8B denseモデルは、IFEval、AlpacaEval、MMLU-Pro、およびGSM8Kを含むいくつかの主要なベンチマークにおいて、前世代の**Granite 4.0-H-Small (32B-A9B MoE)**と匹敵またはそれを上回ることが示されています。
主要なInstructモデルベンチマーク
| ベンチマーク | 3B | 8B | 30B |
|---|---|---|---|
| MMLU (5-shot) | 67.02 | 73.84 | 80.16 |
| GSM8K (8-shot) | 86.88 | 92.49 | 94.16 |
| HumanEval (pass@1) | 79.27 | 87.20 | 89.63 |
| AlpacaEval 2.0 | 38.57 | 50.08 | 56.16 |
| BFCL v3 | — | 68.27 | 73.68 |
デプロイとインフラストラクチャ
Granite 4.1モデルはApache 2.0ライセンスの下でリリースされています。効率的な推論のため、FP8量子化バリアントが利用可能で、16ビット精度と比較してディスクフットプリントとGPUメモリ使用量を約50%削減します。
トレーニングは、CoreWeave上でホストされているNVIDIA GB200 NVL72クラスターで実施され、ラック内通信のために72-GPU NVLinkドメインを利用し、ラック間通信のためにノンブロッキングFat-Tree NDR 400 Gb/s InfiniBandネットワークを使用しています。