IBM Granite 4.0 Nano 版本說明

IBM 已發布 Granite 4.0 Nano，這是一系列針對邊緣和設備端應用優化的小型語言模型（SLMs）。這些模型旨在在最小的參數規模內提供高效能，降低對龐大參數數量的需求，以在專門任務中獲得實用性。

模型變體與架構

Granite 4.0 Nano 包含四個指令模型及其對應的基礎模型，分為兩種架構方式，以確保在不同運行時環境中的相容性：

  • Granite 4.0 H 1B：一個密集型 LLM，擁有約 15 億個參數，採用基於混合-SSM（狀態空間模型）的架構。
  • Granite 4.0 H 350M：一個密集型 LLM，擁有約 3.5 億個參數，採用基於混合-SSM 的架構。
  • Granite 4.0 1B 和 350M：1B 和 350M 模型的傳統變壓器版本，適用於混合架構缺乏優化支援的工作負載（例如 llama.cpp）。

技術規格與訓練

所有 Granite 4.0 Nano 模型均使用與原始 Granite 4.0 系列相同的改進方法、管道以及超過 15 兆個標記的資料集進行訓練。

關鍵部署與治理標準包括：

  • 授權：根據 Apache 2.0 授權發布。
  • 運行時支援：對 vLLM、llama.cpp 和 MLX 提供原生架構支援。
  • 認證：ISO 42001 認證，負責任的模型開發，確保模型的建置與治理符合全球標準。

效能與基準測試

Granite 4.0 Nano 模型在 0.2B 到 2B 參數範圍內，相較於其他模型（包括來自阿里巴巴的 Qwen、LiquidAI 的 LFM 和 Google 的 Gemma）展現出更高的能力。

一般能力

在衡量知識、數學、程式碼與安全的通用基準測試中，Nano 模型相對於其規模顯示出顯著的能力提升。

代理工作流程效能

該模型在對代理工作流程至關重要的任務上，優於數個體積相近的競爭對手，具體表現在：

  • 指令遵循：透過 IFEval 基準測試進行測量。
  • 工具呼叫：透過 Berkeley 的 Function Calling Leaderboard v3 (BFCLv3) 進行測量。

結論

Granite 4.0 Nano 提供一系列靈活的小規模模型，在高效能與效率之間取得平衡，同時提供混合-SSM 與傳統變壓器架構，以最大化對設備端 AI 部署的相容性。

Sources