IBM Granite 4.2 リリースノート

IBMは、3B、8B、および30Bのパラメータサイズで利用可能な、高密度なデコーダーのみの推論LLMファミリーであるGranite 4.2をリリースしました。これらのモデルは明示的な推論のために設計されており、思考（thinking）、非思考（non-thinking）、および低負荷（low-effort）モードの間で切り替え可能な思考の連鎖（chain-of-thought）プロセスをサポートしており、Apache 2.0ライセンスの下でリリースされています。

モデルアーキテクチャと事前学習

Granite 4.2モデルは、デコーダーのみの高密度トランスフォーマーアーキテクチャを利用しています。主な技術仕様には、40個のアテンションヘッドと8個のKVヘッドを備えたGrouped Query Attention (GQA)、θ = 10,000,000のRotary Position Embedding (RoPE)、およびMLPにおけるSwiGLU活性化関数が含まれます。モデルはbfloat16精度でトレーニングされています。

コンポーネント	3B Dense	8B Dense	30B Dense
Embedding size	2560	4096	4096
Number of layers	40	40	64
Attention head size	64	128	128
Number of attention heads	40	32	32
Number of KV heads	8	8	8
MLP hidden size	8192	12800	32768
Sequence length	131,072	131,072	131,072

事前学習は、5段階の戦略を用いて、約15兆トークンでゼロから実施されました。このプロセスには、基礎的な事前学習、データアニーリングを伴う中間学習、およびコンテキストウィンドウを512Kトークンまで拡張する最終フェーズが含まれます。

教師あり微調整 (SFT)

SFTは、約720万サンプルの混合（約100Bトークン）を使用して、ベースモデルを指示に従う推論アシスタントへと変換します。データは以下のように分割されています：

• Agentic Corpus (31.6%): ソフトウェアエンジニアリング (69%)、ツール呼び出し (12.1%)、ターミナル使用 (8.0%)、数学 (3.5%)、検索 (0.8%)、およびアクション (0.2%) に焦点を当てています。
• Non-Agentic Corpus (68.4%): 指示に従うこと (18.8%)、コーディング (18.8%)、数学 (14.6%)、多言語 (7.0%)、科学 (5.4%)、推論 (3.0%)、および安全性 (0.8%) を含みます。

品質管理には、OpenAI Chat形式への正規化、GPT-OSS-120BおよびGemma 4によるLLMベースの判定、およびSHA-256に基づく重複排除が含まれます。30Bモデルは、エージェンティック・コーディングに特化した追加の第2段階のSFTを受け、SWEおよびコーディングデータのアップサンプリングを1回追加で行いました。

多段階強化学習パイプライン

Granite 4.2は、**非同期Group Relative Policy Optimization (GRPO)**を用いた多段階RLパイプラインを採用しています。この手法は、leave-one-outベースラインを使用して、個別の値ネットワーク（value network）の必要性を排除します。パイプラインは、各段階のポリシーが次の段階のベースとなるウォームスタートのシーケンスです。

基礎的RL

すべてのモデルサイズにおいて、基礎的RLが実施されます。これには以下が含まれます：

• RLVR (Verifiable-Reward RL): 最も広範な段階であり、数学（Lean formal provingを含む）、競技コーディング、STEM MCQA、指示に従うこと、および推論パズルをカバーします。RLVRは、3B/8Bでは2ラウンド、30Bでは3ラウンド実施されます。
• Skill Boosters: 指示に従うこと（マルチターンチャット、構造化出力）および競技コーディングを鋭敏化するためのターゲット学習です。

Agentic RL (8Bおよび30Bのみ)

8Bおよび30Bモデルは、ツールとの相互作用を実際の環境で学習するために、追加のエージェンティック・ブロックが実施されます：

• SWE Agent: OpenHands harnessを使用して、サンドボックス化されたリポジトリ内でコードを編集し、テストを実行します。隠しテストが合格するかどうかによって報酬が与えられます。
• Terminal Agent: Terminus-2 harnessを介してライブ・シェルで動作し、ロールアウトは最大64環境ターンに及びます。
• Search Agent: ライブ・ウェブ検索ツールを使用してマルチホップ研究を行い、LLM判定器による報酬が与えられます。

Alignment (RLHF)

すべてのモデルは、人間の好みに合わせた調整（RLHF）で締めくくられます。これには、生成的な報酬モデル（GenRM）と安全性の報酬が利用されます。この段階では、冗長性を減らすために推論の長さに対するペナルティも適用されます。

インフラストラクチャとデプロイメント

トレーニングは、NVIDIA GB200 NVL72クラスターで実施されました。ソフトウェアスタックには、GRPOループのためのNeMo-RL、およびロールアウトのオーケストレーションとサンドボックス化されたリソースのホストのためのNeMo-Gymが利用されています。

量子化とサービング

vLLM推論のための4つの量子化バリアントが利用可能です：

• FP8: ダイナミックなper-channel weightsおよびper-token activations。
• FP4: GPTQを介して量子化されたNVFP4およびMXFP4バージョン。
• GGUF: llama.cppを介して提供される様々な形式（Q8_0からQ2_Kまで）。

パフォーマンス結果

評価の結果、推論能力はモデルのサイズに応じてスケールします。30Bモデルはエージェンティック・コーディングにおいてリードしており、SWE Bench Verifiedで57.00、Terminal-Bench 2.1で29.24を達成しています。AIME25のような推論ベンチマークでは、78.33 (3B) から 89.17 (30B) への進展が見られます。すべてのモデルは、英語、ドイツ語、スペイン語、フランス語、日本語、ポルトガル語、アラビア語、チェコ語、イタリア語、韓国語、オランダ語、および中国語を含む12言語をサポートしています。