IBM Granite 4.2 發布說明

IBM 已發布 Granite 4.2，這是一系列密集型、僅解碼器的推理大型語言模型，提供 3B、8B 和 30B 三種參數規模。這些模型專為明確推理設計，支援鏈式思維流程，可切換至思考、非思考與低耗能模式，並以 Apache 2.0 許可證釋出。

模型架構與預訓練

Granite 4.2 模型採用僅解碼器的密集型 Transformer 架構。關鍵技術規格包括：使用 40 個注意力頭與 8 個 KV 頭的分組查詢注意力（GQA）、旋轉位置編碼（RoPE）的 θ = 10,000,000，以及 MLP 中的 SwiGLU 激活函數。模型以 bfloat16 精度進行訓練。

组件	3B 密集型	8B 密集型	30B 密集型
嵌入大小	2560	4096	4096
層數	40	40	64
注意力頭大小	64	128	128
注意力頭數量	40	32	32
KV 頭數量	8	8	8
MLP 隱藏層大小	8192	12800	32768
序列長度	131,072	131,072	131,072

預訓練從零開始，使用約 15 兆個詞元 並採用五階段策略進行。此過程包含基礎預訓練、中段訓練時的資料退火，以及最後一階段將上下文視窗擴展至 512K 詞元。

監督式微調（SFT）

SFT 將基礎模型轉化為指令遵循與推理助手，使用約 720 萬個樣本（約 100B 詞元）的混合資料。資料分為：

代理語料庫（31.6%）： 專注於軟體工程（69%）、工具呼叫（12.1%）、終端使用（8.0%）、數學（3.5%）、搜尋（0.8%）與行動（0.2%）。
非代理語料庫（68.4%）： 包含指令遵循（18.8%）、程式設計（18.8%）、數學（14.6%）、多語言（7.0%）、科學（5.4%）、推理（3.0%）與安全（0.8%）。

品質控制包含轉換為 OpenAI Chat 格式、使用 GPT-OSS-120B 與 Gemma 4 的 LLM 判斷，以及基於 SHA-256 的去重。30B 模型額外進行第二階段 SFT，專注於代理程式設計，對 SWE 與程式設計資料進行額外一個 epoch 的上採樣。

多階段強化學習流程

Granite 4.2 採用多階段 RL 流程，使用 非同步分組相對策略優化（GRPO）。此方法利用「留一法」基線，無需額外的價值網絡。流程為一系列暖機啟動，每個階段的策略成為下一階段的基礎。

基礎強化學習

所有模型規模均進行基礎強化學習，包含：

RLVR（可驗證獎勵強化學習）： 最廣泛的階段，涵蓋數學（含 Lean 正式證明）、競技程式設計、STEM 多選題、指令遵循與推理謎題。RLVR 在 3B/8B 上執行兩輪，在 30B 上執行三輪。
技能增強器： 專注於提升指令遵循（多輪對話、結構化輸出）與競技程式設計能力的針對性訓練。

代理強化學習（僅限 8B 與 30B）

8B 與 30B 模型額外進行代理階段，學習在真實環境中與工具互動：

SWE Agent： 使用 OpenHands 機制在沙盒儲存庫中編輯程式碼並執行測試，獎勵來自隱藏測試是否通過。
Terminal Agent： 透過 Terminus-2 機制在即時 shell 中運作，模擬執行最多達 64 環境回合。
Search Agent： 使用即時網路搜尋工具進行多跳研究，獎勵由 LLM 判斷。

對齊（RLHF）

每個模型最後均進行 RLHF，以人類偏好與安全性為目標，使用生成式獎勵模型（GenRM）與安全獎勵。此階段也應用推理長度懲罰，以減少冗長。

基礎設施與部署

訓練在 NVIDIA GB200 NVL72 集群上執行。軟體堆疊使用 NeMo-RL 進行 GRPO 流程，並以 NeMo-Gym 協調模擬執行與主機沙盒資源。

量化與服務

提供四種量化變體以支援 vLLM 推理：

FP8： 動態通道權重與詞元級激活。
FP4： 透過 GPTQ 量化之 NVFP4 與 MXFP4 版本。
GGUF： 透過 llama.cpp 提供多種格式（Q8_0 至 Q2_K）。

性能結果

評估顯示推理能力隨模型規模提升而增強。30B 模型在代理程式設計方面領先，於 SWE Bench Verified 上達 57.00，在 Terminal-Bench 2.1 上達 29.24。推理基準如 AIME25 則從 3B 的 78.33 提升至 30B 的 89.17。所有模型支援 12 種語言，包括英文、德文、西班牙文、法文、日文、葡萄牙文、阿拉伯文、捷克文、義大利文、韓文、荷蘭文與中文。