strands-labs/strands-decider

解决的问题

Strands Decider 解决了大语言模型（LLM）与传统分类模型之间的差距。虽然 LLM 灵活但速度慢且成本高，而传统分类器虽然快速但需要大量训练和领域专业知识，Strands Decider 提供了一种通用的决策模型，速度快、易于部署，能够在无需生成任意文本的情况下完成选项选择或评分。

工作原理

该项目使用预训练的解码器 LLM 主干（Qwen3.5-2B-Base），并将其语言建模头替换为一个小型的「指针头」（约一百万参数）。它不使用生成文本的解码循环，而是通过一次前向传播，将答案位置的隐藏状态与选项最后一个标记的隐藏状态进行比较，从而对选项进行评分。通过掩码 softmax 支持三种问题类型：

• Noul：是/否问题。
• Choice：从 N 个选项中选择一个。
• Score：在有序评分标准上对项目进行评分。

它原生支持多模态，可使用视觉塔将图像作为状态的一部分进行处理。

适用人群

专为需要快速、可靠决策组件的开发者设计，适用于模型路由、工具选择、论点验证、分诊和安全护栏等任务的代理型 AI 工作流。

亮点

• 高速：在 RTX 3090 上的中位延迟为 115ms。
• 校准可靠的置信度：提供校准良好的置信度分数，帮助用户判断何时应交由人工处理。
• 高效推理：对于同一文本的多个问题，由于状态只需加载一次，因此可高效处理。
• 硬件灵活：可在 NVIDIA GPU、Apple Silicon Mac（通过 MLX）和 CPU 上运行。
• 多模态支持：无需重新训练即可处理图像，回答基于决策的问题。