Microsoft‑Decision‑1：快速、低成本的决策评分模型——它是什么、表现如何以及为何重要
TL;DR – 关键要点
- 它是什么： 一个 9B 参数的解码器模型，在单次前向传播中为每个答案选项输出校准概率。
- 性能： 比 GPT‑6 Sol 快 35 倍（约 35 ms 对比 1.2 s），成本低至 14 倍，准确性与 Jev‑Bench‑1.0‑Large 相当（在 36 个基准测试套件上约 98%），且优于许多更大的 LLM。
- 定价： 每百万输入 token 0.042 美元；输出 token 免费。
- 可用性： Microsoft Foundry（AI Azure 目录）和 OpenRouter（模型 ID
microsoft/microsoft-decision-1）。 - 使用场景： 实时路由、安全过滤、智能体决策门控、数据标注、事件响应分类、科学发现筛选，以及任何需要快速、校准选择概率的工作流。
- 未来路线图： 在 MAI 和 OpenAI 模型上重新训练，扩展基准测试覆盖范围，并提高置信度校准。
1. 什么是 Microsoft‑Decision‑1？
Microsoft‑Decision‑1 是一个决策评分模型，旨在单次前向传播中将一组答案选项转化为概率分布。与生成自由文本并需要后处理提取分数的通用 LLM 不同，Decision‑1 直接为每个选项输出校准概率，使其非常适合：
- 路由（选择最佳下游模型或服务），
- 安全/合规门控（基于校准风险接受/拒绝），
- 智能体控制（决定自主智能体是否应行动），
- 分类（标注、情感、意图），以及
- 科学筛选（过滤假设、化合物或实验）。
该模型基于 Qwen‑3.5‑9B 微调，这是一个 90 亿参数的开源解码器。Microsoft 计划稍后将其重新基于 MAI 和 OpenAI 模型，但当前版本已经提供了最先进的性价比。
API 契约（OpenRouter）
POST https://openrouter.ai/api/v1/chat/completions
{
"model": "microsoft/microsoft-decision-1",
"messages": [{"role": "user", "content": "Question: What is the capital of France? Options: A) Berlin B) Paris C) Madrid"}],
"temperature": 0,
"max_tokens": 1
}
响应包含一个单一 token，映射到所选选项，logprob 字段为每个选择提供校准概率。
2. 基准测试结果 – 速度、成本和准确性
2.1 基准测试套件
Microsoft 在 36 个公共基准（包括 Jev‑Bench、Strands‑Decider 和自定义的“成本与准确性”套件）上评估了 Decision‑1，涵盖：
- 分类（例如意图、安全），
- 路由（模型选择），
- 排序，以及
- 约束下的决策。 所有基准测试均对模型盲测（排除训练数据），并在相同硬件上运行以确保公平比较。
2.2 速度与延迟
| 模型 | 中位延迟（p50） | 相对速度 |
|---|---|---|
| Microsoft‑Decision‑1 | 约 35 ms | 1×（基线） |
| GPT‑6 Sol | 约 1.2 s | 约 35 倍慢 |
| Jev‑Bench‑1.0‑Large（Qwen‑1.0‑Large） | 约 400 ms | 约 11 倍慢 |
| deck‑31B（H2O‑Lightning‑4B） | 约 800 ms | 约 23 倍慢 |
Decision‑1 的单次传递架构消除了多次 token 生成的需要，在所有评估模型中提供了最快的分数。
2.3 成本
- 仅输入定价： 每百万 token 0.042 美元（约每 1k token 0.000042 美元）。
- 输出免费 – 每个决策一个 token，因此每个决策的有效成本基本上是输入 token 成本。
- 与 GPT‑6 Sol（约每百万 token 0.60 美元）相比，Decision‑1 便宜约 14 倍。
2.4 准确性与校准
| 模型 | 总体准确性（36 个基准的平均值） |
|---|---|
| Microsoft‑Decision‑1 | 约 98%（匹配或超过 Jev‑Bench‑1.0‑Large） |
| Jev‑Bench‑1.0‑Large | 97% |
| GPT‑6 Sol | 94% |
| deck‑31B | 92% |
校准 – Decision‑1 的概率分数在任务间直接可比，而通用 LLM 的原始 token 概率可能校准不佳。在“鲁棒性”测试（8 次扰动下翻转率 1.3%）中，Decision‑1 仅翻转了 1.3% 的决策，是所有测试模型中最低的。
3. Microsoft 展示的真实世界使用案例
| 类别 | 示例 | Decision‑1 的使用方式 |
|---|---|---|
| 智能体门控 | 自主智能体提议删除用户数据。Decision‑1 评估安全策略并返回 99% 的概率表明该操作是安全的，允许系统自动继续。 | 在智能体行动前提供快速、校准的安全检查。 |
| 路由 | 聊天机器人需要为用户查询选择最佳 LLM（成本敏感与质量敏感）。Decision‑1 对候选模型进行评分，并选择满足质量阈值的最便宜模型。 | 在毫秒内实现动态模型选择。 |
| 安全过滤 | 内容审核管道将用户生成的文本分类为安全/不安全。Decision‑1 返回概率；如果 > 0.9，内容自动批准，否则标记为审查。 | 减少高吞吐量审核中的延迟。 |
| 数据标注 | 大型社交媒体帖子语料库被标注情感或意图。Decision‑1 为每个标签分配概率，允许下游系统按置信度加权决策。 | 在保持低成本的同时提高标注质量。 |
| 事件响应分类 | 值班工程师收到带有描述的警报。Decision‑1 对事件类型进行分类（例如 网络、数据库、安全）并将其路由到适当的团队。 | 将平均分类时间从几分钟缩短到几秒。 |
| 科学发现 | 化学管道生成候选化合物。Decision‑1 根据标准（毒性、可合成性）评估每个化合物并排序，使实验室能够专注于得分最高的 5%。 | 与手动审查相比，假设筛选速度提高约 4 倍。 |
4. 定价详情
- 仅输入成本： 每百万 token 0.042 美元（约每 1k token 0.000042 美元）。
- 输出 token： 免费 – 模型设计为每个决策发出单一 token，因此决策的全部成本是输入提示的成本。
- 比较： GPT‑6 Sol 的成本约为每百万 token 0.60 美元，使 Decision‑1 在相同工作负载下便宜约 14 倍。
- 计费： 定价列在 OpenRouter 模型页面和 Microsoft Foundry 目录条目中。
5. 可用性与试用方式
| 平台 | 访问 URL | 认证 |
|---|---|---|
| Microsoft Foundry | https://ai.azure.com/catalog/models/Microsoft-Decision-1 | Azure AD（Azure 订阅） |
| OpenRouter | https://openrouter.ai/microsoft/microsoft-decision-1 | API 密钥（提供免费层） |
两个平台都公开了与 OpenAI API 模式兼容的 Chat Completion 端点。该模型已上线；无需等待列表。
6. 路线图与未来工作
- 在 MAI 和 OpenAI 骨干上重新训练 – 以提高推理和多语言支持，同时保持低延迟架构。
- 扩展基准测试套件 – 添加更多安全关键和领域特定任务（例如医疗分诊、金融合规）。
- 置信度校准改进 – 在更大的校准数据集上微调，以收紧概率可靠性。
- 工具 – 为 Python、JavaScript 和 .NET 提供 SDK，公开简单的
score(options, prompt)辅助函数。 - 边缘部署 – 轻量级 ONNX 版本，用于设备端推理（例如 Windows Copilot、Azure IoT Edge）。
7. 社区与批评（HN 线程中的内容）
- 定价比较： 一些评论者指出，Microsoft 仅将成本与 GPT‑6 Sol 比较，而未与 Jev‑Bench‑1.0‑Large（比 Luna 便宜约 4 倍）比较。Microsoft 的每百万 token 0.042 美元仍显著低于任何 GPT‑6 类型的产品，但社区期望直接与 Jev 进行成本比较。
- 模型选择： 从 Qwen‑3.5‑9B（中国起源模型）开始的决定引起了关注。Microsoft 的回应：“我们很快将重新基于 MAI 和 OpenAI 模型，”表明计划多样化骨干。
- API 文档： 早期用户报告缺少 OpenAPI 规范。Foundry 和 OpenRouter 现在都提供 Swagger/OpenAPI JSON 以便轻松集成。
- 命名与品牌： 一些关于“Microsoft Decision‑1”听起来像 Windows 风格 UI 组件（例如“Clippy”）的笑话。该名称反映了模型的目的（决策评分），并遵循 Microsoft 产品线命名惯例（例如 Copilot、Designer）。
- 使用场景相关性： 一些评论者想知道该模型对于简单分类任务是否过度设计。Microsoft 的定位强调智能体 AI——快速、校准的决策门控下游操作——使低延迟、低成本特性至关重要。
8. 快速入门代码片段（Python）
import openai
client = openai.OpenAI(base_url="https://openrouter.ai/api/v1", api_key="YOUR_KEY")
prompt = (
"Question: Which team should handle a security incident? "
"Options: A) Tech Support B) Security Team C) Customer Success"
)
response = client.chat.completions.create(
model="microsoft/microsoft-decision-1",
messages=[{"role": "user", "content": prompt}],
temperature=0,
max_tokens=1,
logprobs=True,
)
# Extract probabilities for each option
logprobs = response.choices[0].logprobs.top_logprobs[0]
probs = {k: round(10**v * 100, 2) for k, v in logprobs.items()}
print(probs) # e.g., {'A': 2.3, 'B': 94.7, 'C': 2.9}
字典 probs 为每个答案选项提供校准概率，可直接用于下游决策逻辑。
9. 结论
Microsoft‑Decision‑1 填补了 LLM 生态系统中的一个缺失细分市场：一个快速、廉价、校准的决策评分器，可开箱即用地用于路由、安全门控和智能体控制。其在 36 个基准测试套件上的表现显示了最先进的准确性，同时提供比同类 GPT‑6 产品低 35 倍的延迟和低至 14 倍的成本。该模型已可通过 Azure Foundry 和 OpenRouter 使用，路线图承诺更广泛的骨干、更紧密的校准和边缘部署。
如果您正在构建自主智能体、实时路由管道或高吞吐量安全过滤器，Microsoft‑Decision‑1 现在是一个实用、生产就绪的选项，可以显著降低延迟和支出。
Sources
相关
- Dispatch
- 项目
- Dispatch
- Dispatch
- Dispatch