亚马逊用 Strands Decider 取代 Claude Sonnet 4.6,工单标注成本降低 98%
核心结论
亚马逊将高吞吐量的内部工单标注系统从 Claude Sonnet 4.6 迁移到 Strands Decider 决策模型,在保持标注质量的同时,将 token 消耗降低了 70%,单张工单成本从 0.0222 美元降至约 0.0005 美元——降幅达 98%,每年可节省数百万美元。
为什么决策模型在工单分类上优于 LLM
决策模型不会生成自由文本;它接收一组固定选项,并返回每个选项的概率分布及置信度分数。对于亚马逊的工单工作流,状态是工单内容,选项是 20 个预定义的标签类别。这与决策模型的接口完美匹配,使系统能够用单 token 的选择输出取代生成 JSON 的生成式 LLM。
“决策模型无法生成文本。它首先被赋予一些状态和一个带有选项集合的问题,然后决策模型返回每个选项的概率以及置信度分数。” – Strands 博客
生产切换的架构
迁移保留了现有的 AWS 技术栈不变:
- 工单接入 – 事件进入 SQS 队列。
- Lambda 触发 – Lambda 读取工单,查询 AWS AppConfig 中的功能开关,并调用 Sonnet、Strands Decider 或两者。
- 模型服务 – Strands Decider 运行在 SageMaker AI 端点(ml.g5.xlarge)上,使用 E4B Gemma‑4 模型。模型占用约 19 GiB 内存,处理一个请求约需 640 ms。
- 可观测性 – CloudWatch 日志、指标和告警监控延迟和错误率;CDK 定义整个技术栈,包含 Beta、Gamma 和 Prod 阶段。
三路功能开关(BEDROCK、DUAL、DECIDER)使亚马逊能够在完全切换前并排比较输出结果。
实测性能提升
| 指标 | Claude Sonnet 4.6 | Strands Decider E4B | 相对提升 |
|---|---|---|---|
| 平均每次调用延迟 | 4,215 ms | 897 ms | 快 78% |
| 每张工单输入 token | 6,554 | 2,009 | – |
| 每张工单输出 token | 170 | 1 | – |
| 每张工单总 token | 6,724 | 2,010 | 减少 70% |
token 减少源于两个因素:
- Strands Decider 返回单个选择 token,而非 JSON 负载。
- 提示词大幅缩短;标签描述被压缩为一两句标准,轻松适配 4,096 token 的窗口。
一天的 Lambda 持续时间追踪显示,切换后平均执行时间下降了 74%。
按 AWS 公布价格计算的成本对比
| 定价组件 | Claude Sonnet 4.6(Bedrock) | Strands Decider E4B(SageMaker) |
|---|---|---|
| token 价格 | $3.00 / 百万输入,$15.00 / 百万输出 | $1.408 / 实例小时 |
| 每张工单成本 | $0.0222 | ≈ $0.0005 |
| 每百万张工单 | ≈ $22,200 | ≈ $500 |
按每次请求约 640 ms 计算,单个 ml.g5.xlarge 实例每小时可处理约 5,600 张工单,在满利用率下理论成本为 $250 / 百万张工单。实际上,亚马逊观察到约 $500 / 百万张工单,仍比 Sonnet 便宜 44 倍。
意外的工程细节
团队发现 JSON 键的顺序会改变概率输出,差异最高达 0.19。他们现在在向决策模型发送请求前,会对请求对象进行键排序以规范化。
“让我们惊讶的是,JSON 键的顺序改变了答案。以不同键顺序发送相同内容,输出概率的变动高达 0.19。我们现在发送每个请求时都会对键进行排序。”
何时考虑使用决策模型
切换成功的原因在于:
- 任务是对静态目录的封闭式选择分类。
- 工单量高,使延迟和 token 成本成为关键因素。
- 所需上下文在几千 token 以内。
如果你的标签需要丰富的解释性文本、目录频繁变化,或上下文超出模型窗口,决策模型可能无法直接替代。
部署中的经验教训
- 三路功能开关:并行运行 Sonnet 和 Decider(
DUAL模式)提供了离线测试无法捕捉的真实流量分歧数据。该开关还使回滚成为 45 秒的配置更改。 - 成本驱动的重构:重新设计管道以使用更便宜、专用的模型,可以在不牺牲质量的情况下实现数量级的节省。
- 可观测性至关重要:端到端指标(Lambda 持续时间、SageMaker 延迟、CloudWatch 告警)对于验证新路径至关重要。
社区反应
“大约六年前,我们用 SVM 构建了一个工单分类管道,运行只需几毫秒。看到领域在 LLM 绕路后回归快速、廉价的分类器,真是令人着迷。” – armcat
“每百万张工单节省约 $21,700,意味着每年需要超过 9,000 万张工单才能达到 $2 百万的节省,考虑到升级、告警和容量请求的混合,这似乎是合理的。” – Kaedon
“决策模型在生产工作负载上比 LLM 更进了一步,但它们仍然难以使用,通常需要自定义基础设施。” – nlpnerd
“如果你需要一个简单的封闭式选择代理,试试 Strands Decider 仓库及其 GitHub 上的服务说明。” – Strands 博客作者
如何自行尝试
Strands Decider 代码库和推理指南是开源的:
- 仓库:https://github.com/strands-labs/strands-decider
- 推理文档(包括 Gemma‑4 模型):https://github.com/strands-labs/strands-decider/blob/0ac22a97e584f3ccf87cc9b8cc5fdbad57cdf534/docs/inference.md#gemma-4-models
在 SageMaker 上部署模型,将其连接到 SQS‑Lambda 管道,并使用 AWS AppConfig 进行三态切换,以评估你自己流量上的性能。
本文基于 Strands 博客文章“Amazon saves millions by replacing Sonnet 4.6 with Strands Decider”(发布于 2026‑11‑09)及相关的 Hacker News 讨论。
Sources
相关
- 项目
- Dispatch
- Dispatch
- Dispatch
- Dispatch