IBM Granite 4.0 Nano 发布说明

IBM 发布了 Granite 4.0 Nano，这是一系列针对边缘和设备端应用优化的小型语言模型（SLMs）。这些模型旨在以最小的参数规模提供高性能，从而减少在专门任务中实现实用性所需的巨大参数数量。

模型变体和架构

Granite 4.0 Nano 包含四个指令模型及其对应的基础模型，分为两种架构方式，以确保在不同运行时之间的兼容性：

  • Granite 4.0 H 1B: 一个具有约 15 亿参数的密集型 LLM，采用基于混合-SSM（状态空间模型）的架构。
  • Granite 4.0 H 350M: 一个具有约 3.5 亿参数的密集型 LLM，采用基于混合-SSM（状态空间模型）的架构。
  • Granite 4.0 1B and 350M: 1B 和 350M 模型的传统 Transformer 版本，用于混合架构缺乏优化支持的工作负载（例如 llama.cpp）。

技术规格和训练

所有 Granite 4.0 Nano 模型均使用与原始 Granite 4.0 系列相同的改进方法、管道以及超过 15 万亿标记的数据集进行训练。

关键部署和治理标准包括：

  • Licensing: 在 Apache 2.0 许可证下发布。
  • Runtime Support: 对 vLLM、llama.cpp 和 MLX 提供原生架构支持。
  • Certification: ISO 42001 认证，用于负责任的模型开发，确保模型的构建和治理符合全球标准。

性能和基准测试

Granite 4.0 Nano 模型相比 0.2B 到 2B 参数范围内的其他模型（包括阿里巴巴的 Qwen、LiquidAI 的 LFM 和 Google 的 Gemma）展示了更强的能力。

通用能力

在衡量知识、数学、代码和安全的通用基准测试中，Nano 模型相对于其规模展示了能力的显著提升。

代理工作流性能

这些模型在代理工作流中关键的任务上优于几个同样规模的竞争对手，具体体现在：

  • Instruction Following: 通过 IFEval 基准测试进行测量。
  • Tool Calling: 通过 Berkeley 的 Function Calling Leaderboard v3 (BFCLv3) 进行测量。

结论

Granite 4.0 Nano 提供了一系列灵活的小规模模型，在高性能与效率之间取得平衡，同时提供混合-SSM 和传统 Transformer 架构，以最大程度地提高设备端 AI 部署的兼容性。

Sources