Strands Decider 2B 发布说明 / 新功能

Strands Decider 2B 为智能体工作流提供低延迟决策

Strands Decider 2B 是一个专门的“决策模型”（或“系统一模型”），优化用于在选项集合中进行选择和分配数值评分，而非生成任意文本。通过牺牲完整语言模型的灵活性，Strands Decider 2B 实现了更高的速度、更低的延迟和更一致的输出格式，使其成为智能体 AI 流水线中本地开发和快速实验的理想选择。

模型架构：用指针头替换 LM 头

Strands Decider 2B 通过修改预训练的 LLM 主干（具体为 Qwen3.5-2B）并移除其语言建模（LM）头（即允许模型生成文本的部分）而构建。

技术实现

指针头： LM 头被替换为指针头（约 100 万参数），该指针头对每个选项位置的隐藏状态与 <answer> 位置的隐藏状态进行评分。
微调： 使用 rank-16 LoRA 适配器对主干进行微调。
迭代开发： 发布版本（v19）是多次迭代的结果；早期使用“槽头”的版本被发现性能明显较差。

性能：准确性、校准和延迟

Strands Decider 2B 针对三个主要指标：准确性（答案的正确性）、校准（置信度分数的可靠性）和延迟（决策速度）。

基准测试和速度

准确性和校准： 该模型在 JevBench 公开集上 2B 参数类别中排名第 3（共 33 个），在严格低于 2B 参数的模型中排名第 1。
延迟： 在 Nvidia RTX 3090 上，模型的中位决策延迟约为 115 毫秒。在 M3 MacBook 上，小任务的中位延迟约为 153 毫秒。延迟随任务大小（以 token 计）近似线性增加。

决策模型的使用场景

由于决策模型提供高质量可靠性分数，并能高效处理单个提示中的多个问题，因此适用于完整 LLM 可能过慢或成本过高的任务。

主要应用

模型路由和工具选择： 确定调用哪个工具或将请求路由到哪个模型。
护栏和评估： 实现实时安全检查或策略分类。
上下文和记忆管理： 管理信息的检索和存储方式。
混合智能体： 使用决策模型处理机械、简单的决策，并保留前沿 LLM 用于复杂推理任务，以降低总体成本和延迟。

示例：工具调用干预

Strands 展示了一个“干预系统”，模型在工具调用执行前对其进行评估。它询问两个二元问题：参数值是否基于用户事实，以及调用工具是否过早。基于这些分数，系统可以 Proceed（继续）、Deny（拒绝）、Confirm（询问人类）或 Guide（向 LLM 提供反馈）。

社区见解和技术考虑

社区讨论强调了部署像 Strands Decider 2B 这样的决策模型的几个实际考虑因素：

硬件优化： 用户建议将处理卸载到 NPU（神经处理单元）而不是 CPU，以将性能提高一倍并显著降低功耗。
部署格式： 社区对 llama.cpp 和 Ollama 支持感兴趣。一些用户已经创建了用于浏览器部署的 WebGPU 版本（例如 strands-decider-2B-webgpu）。
批判性观点： 一些开发者警告说，公开集上的基准校准并不能保证在陌生生产输入上的可靠性。其他人批评 JevBench 过于侧重文本分类，而牺牲了需要更深层智能的任务。
替代架构： 有人指出，Intern-Decision 模型系列（0.8B、2B 和 4B）使用类似的 Qwen3.5 基础和指针头架构。

SUMMARY: Strands Decider 2B 是一个开源的 20 亿参数决策模型，专为低延迟、高可靠性的分类和选项选择任务而设计，而非任意文本生成。

TITLE: Strands Decider 2B 发布说明 / 新功能