Granite Switch 4.1：从一个端点实现聊天、决策和语音

TL;DR： IBM 的 Granite Switch 4.1 版本将聊天、通用和专用决策以及语音转文字打包到单一的 8B 和 30B 模型端点中。该版本之所以重要，是因为它在不增加超出基础模型 GPU 内存的前提下增加了这些功能，并且使 OpenASR 排行榜上最快的 ASR 模型与基础 LLM 同时可用。

Granite Switch 4.1 包含的内容

Granite Switch 4.1 是 Granite Switch 项目引入的一种模块化模型组合方法。4.1 版本提供了 Granite-Switch-4.1-8B 和 Granite-Switch-4.1-30B 模型，配置了三个附加组件：用于通用决策的新型 Decision aLoRA（例如 v1/systemone）、用于安全相关决策任务的专用 Guardian aLoRA，以及用于转录的 Granite-Speech-5.0-Turbo-CTC。这三项技术和底层基础模型被组合到一个模型中。

Decision 和 Guardian 适配器

Decision aLoRA 处理通用决策。Guardian aLoRA 专门用于安全相关的决策任务，并且在这些任务上平均优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash。该帖子将这些适配器定位为更广泛的决策模型策略的一部分：Granite Libraries 已经提供了一个专用决策模型适配器和其他专用任务适配器的存储库，可以组合成自定义的 Granite Switch 模型。虽然 Jev 和其他封闭决策模型侧重于通用性，但专用的 granitelib 适配器可以在专用分类任务上胜过通用模型。

使用 Granite-Speech-5.0-Turbo-CTC 进行语音转文字

Granite-Speech-5.0-Turbo-CTC 被描述为 OpenASR 排行榜上最快的 ASR 模型。它被嵌入到 Granite Switch 4.1 中用于转录任务。同置的 ASR 编码器帮助模型在聊天、决策和语音请求之间切换。Speech-to-Decisions Hugging Face 空间演示了 granite-switch-4.1-8b 在单个端点上实时转录音频、生成摘要、筛查有害内容并测试其他 15 个用户定义的标志。

效率：一个端点、基础模型 VRAM、KV 缓存重用

Granite Switch 4.1 将基础模型和适配器组合到 GPU 上大约与基础模型自身使用相同数量的 VRAM 中。这意味着用更少的 GPU 获得更多功能。Switch 适配器被构建为缓存高效的激活 LoRA，因此从基础模型生成中创建的 KV 缓存可以重用于任何后续基于适配器的决策。该版本还整合了最近的 vLLM 贡献，以加速低秩适配器推理。由于适配器共享基础模型的 KV 缓存，在通用决策适配器旁边添加专用适配器几乎不需要任何成本。这提供了通用模型的广泛覆盖，并在重要任务上通过专用模型获得更高的准确性。

性能比较：RAG 工作流和 Doom

在 Granite-Switch-4.1-30B（冻结的基础 Granite 加上 4 个专用 aLoRA）和 Jev-27B（冻结的基础 Qwen 模型加上 1 个通用决策 LoRA）之间的竞赛中，Granite-Switch-4.1-30B 完成了一个真实的 5 步 RAG 工作流，速度远快于其竞争对手。在另一个演示中，一个自定义的 3B 参数 Granite Switch 模型以每秒 60-100 次决策的速度做出瞬间决策来游玩经典游戏 Doom，而 Jev 报告的决策速度为每秒 10 次。与 Jev 不同，这个 Granite Switch 模型在游玩时还可以进行叙述和回答问题。

组合你自己的 Granite Switch 模型

Granite-Switch-4.1-8B 和 -30B 以“开箱即用”的方式发布，带有预定义的有用适配器集。用户不需要使用那个确切组合。任何人都可以通过混合和匹配 Granite Libraries 中的适配器来组合自己的 Granite Switch 模型。Granite 团队计划发布一个 Adapter SDK，用于在 Mellea 中训练适配器，以及其他教程和 Granite Switch 支持。这些适配器可以是专门的分类适配器，以增强基于决策的工作流，也可以是用于专门语言任务的适配器。该帖子指出，自定义适配器甚至可以教一个 3B 参数版本的 Granite 玩 Doom。有关 Granite Switch 的更多详细信息和数据计划在接下来的几周内发布。

入门资源

Sources