亚马逊用 Strands Decider 取代 Claude Sonnet 4.6,工单标注成本降低 98%

核心结论

亚马逊将高吞吐量的内部工单标注系统从 Claude Sonnet 4.6 迁移到 Strands Decider 决策模型,在保持标注质量的同时,将 token 消耗降低了 70%,单张工单成本从 0.0222 美元降至约 0.0005 美元——降幅达 98%,每年可节省数百万美元。


为什么决策模型在工单分类上优于 LLM

决策模型不会生成自由文本;它接收一组固定选项,并返回每个选项的概率分布及置信度分数。对于亚马逊的工单工作流,状态是工单内容,选项是 20 个预定义的标签类别。这与决策模型的接口完美匹配,使系统能够用单 token 的选择输出取代生成 JSON 的生成式 LLM。

“决策模型无法生成文本。它首先被赋予一些状态和一个带有选项集合的问题,然后决策模型返回每个选项的概率以及置信度分数。” – Strands 博客

生产切换的架构

迁移保留了现有的 AWS 技术栈不变:

  1. 工单接入 – 事件进入 SQS 队列。
  2. Lambda 触发 – Lambda 读取工单,查询 AWS AppConfig 中的功能开关,并调用 Sonnet、Strands Decider 或两者。
  3. 模型服务 – Strands Decider 运行在 SageMaker AI 端点(ml.g5.xlarge)上,使用 E4B Gemma‑4 模型。模型占用约 19 GiB 内存,处理一个请求约需 640 ms。
  4. 可观测性 – CloudWatch 日志、指标和告警监控延迟和错误率;CDK 定义整个技术栈,包含 Beta、Gamma 和 Prod 阶段。

三路功能开关(BEDROCK、DUAL、DECIDER)使亚马逊能够在完全切换前并排比较输出结果。

实测性能提升

指标 Claude Sonnet 4.6 Strands Decider E4B 相对提升
平均每次调用延迟 4,215 ms 897 ms 快 78%
每张工单输入 token 6,554 2,009 –
每张工单输出 token 170 1 –
每张工单总 token 6,724 2,010 减少 70%

token 减少源于两个因素:

  • Strands Decider 返回单个选择 token,而非 JSON 负载。
  • 提示词大幅缩短;标签描述被压缩为一两句标准,轻松适配 4,096 token 的窗口。

一天的 Lambda 持续时间追踪显示,切换后平均执行时间下降了 74%。

按 AWS 公布价格计算的成本对比

定价组件 Claude Sonnet 4.6(Bedrock) Strands Decider E4B(SageMaker)
token 价格 $3.00 / 百万输入,$15.00 / 百万输出 $1.408 / 实例小时
每张工单成本 $0.0222 ≈ $0.0005
每百万张工单 ≈ $22,200 ≈ $500

按每次请求约 640 ms 计算,单个 ml.g5.xlarge 实例每小时可处理约 5,600 张工单,在满利用率下理论成本为 $250 / 百万张工单。实际上,亚马逊观察到约 $500 / 百万张工单,仍比 Sonnet 便宜 44 倍。

意外的工程细节

团队发现 JSON 键的顺序会改变概率输出,差异最高达 0.19。他们现在在向决策模型发送请求前,会对请求对象进行键排序以规范化。

“让我们惊讶的是,JSON 键的顺序改变了答案。以不同键顺序发送相同内容,输出概率的变动高达 0.19。我们现在发送每个请求时都会对键进行排序。”

何时考虑使用决策模型

切换成功的原因在于:

  • 任务是对静态目录的封闭式选择分类。
  • 工单量高,使延迟和 token 成本成为关键因素。
  • 所需上下文在几千 token 以内。

如果你的标签需要丰富的解释性文本、目录频繁变化,或上下文超出模型窗口,决策模型可能无法直接替代。

部署中的经验教训

  • 三路功能开关:并行运行 Sonnet 和 Decider(DUAL 模式)提供了离线测试无法捕捉的真实流量分歧数据。该开关还使回滚成为 45 秒的配置更改。
  • 成本驱动的重构:重新设计管道以使用更便宜、专用的模型,可以在不牺牲质量的情况下实现数量级的节省。
  • 可观测性至关重要:端到端指标(Lambda 持续时间、SageMaker 延迟、CloudWatch 告警)对于验证新路径至关重要。

社区反应

“大约六年前,我们用 SVM 构建了一个工单分类管道,运行只需几毫秒。看到领域在 LLM 绕路后回归快速、廉价的分类器,真是令人着迷。” – armcat

“每百万张工单节省约 $21,700,意味着每年需要超过 9,000 万张工单才能达到 $2 百万的节省,考虑到升级、告警和容量请求的混合,这似乎是合理的。” – Kaedon

“决策模型在生产工作负载上比 LLM 更进了一步,但它们仍然难以使用,通常需要自定义基础设施。” – nlpnerd

“如果你需要一个简单的封闭式选择代理,试试 Strands Decider 仓库及其 GitHub 上的服务说明。” – Strands 博客作者

如何自行尝试

Strands Decider 代码库和推理指南是开源的:

在 SageMaker 上部署模型,将其连接到 SQS‑Lambda 管道,并使用 AWS AppConfig 进行三态切换,以评估你自己流量上的性能。


本文基于 Strands 博客文章“Amazon saves millions by replacing Sonnet 4.6 with Strands Decider”(发布于 2026‑11‑09)及相关的 Hacker News 讨论。

Sources

相关

  • 项目
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch