Amazon、Claude Sonnet 4.6をStrands Deciderに置き換え、チケットラベル付けコストを98%削減
結論
Amazonは、高頻度の内部チケットラベル付けシステムをClaude Sonnet 4.6からStrands Decider決定モデルに移行し、ラベル品質を維持しながらトークン消費を70%削減、チケットあたりのコストを$0.0222から約$0.0005に削減しました。これは98%の削減であり、年間数百万ドルの節約につながります。
チケット分類において決定モデルがLLMに勝る理由
決定モデルは自由形式のテキストを生成しません。固定された選択肢を受け取り、確率分布と信頼度スコアを返します。Amazonのチケット処理ワークフローでは、状態はチケットの内容であり、選択肢は20の定義済みラベルカテゴリです。これは決定モデルのインターフェースに完全に一致し、JSONを生成する生成LLMを単一トークンの選択出力に置き換えることを可能にしました。
「決定モデルはテキストを生成できません。まず状態と選択肢付きの質問が与えられ、次に決定モデルは各選択肢の確率と信頼度スコアを返します。」 – Strandsブログ
本番切り替えのアーキテクチャ
移行では既存のAWSスタックをそのまま維持しました。
- チケット取り込み – イベントはSQSキューに到着します。
- Lambdaトリガー – Lambdaがチケットを読み取り、AWS AppConfigのフィーチャーフラグを照会し、Sonnet、Strands Decider、またはその両方を呼び出します。
- モデルサービス – Strands DeciderはSageMaker AIエンドポイント(ml.g5.xlarge)でE4B Gemma‑4モデルを使用して実行されます。モデルは約19 GiBのRAMを占有し、リクエストを約640 msで処理します。
- 可観測性 – CloudWatchログ、メトリクス、アラームがレイテンシとエラー率を監視します。CDKがBeta、Gamma、Prodステージを含むスタック全体を定義します。
3方向フィーチャーフラグ(BEDROCK、DUAL、DECIDER)により、Amazonは完全に切り替える前に出力を並べて比較できました。
測定されたパフォーマンス向上
| メトリクス | Claude Sonnet 4.6 | Strands Decider E4B | 相対的な改善 |
|---|---|---|---|
| 呼び出しあたりの平均レイテンシ | 4,215 ms | 897 ms | 78%高速化 |
| チケットあたりの入力トークン | 6,554 | 2,009 | – |
| チケットあたりの出力トークン | 170 | 1 | – |
| チケットあたりの合計トークン | 6,724 | 2,010 | 70%削減 |
トークン削減は2つの要因によるものです。
- Strands DeciderはJSONペイロードではなく単一の選択トークンを返します。
- プロンプトが大幅に短縮され、ラベル説明が1〜2文の基準に圧縮され、4,096トークンウィンドウに余裕で収まります。
終日Lambda実行時間トレースでは、切り替え後に平均実行時間が74% 減少したことが示されました。
公開AWS料金でのコスト比較
| 価格要素 | Claude Sonnet 4.6(Bedrock) | Strands Decider E4B(SageMaker) |
|---|---|---|
| トークン価格 | $3.00 / 100万入力、$15.00 / 100万出力 | $1.408 / インスタンス時間 |
| チケットあたりのコスト | $0.0222 | ≈ $0.0005 |
| 100万チケットあたり | ≈ $22,200 | ≈ $500 |
約640 ms/リクエストの場合、単一のml.g5.xlargeインスタンスは1時間あたり約5,600チケットを処理でき、完全な利用で理論上のコストは$250 / 100万チケットになります。実際には、Amazonは約$500 / 100万チケットを観測しており、それでもSonnetより44倍安価です。
予期しないエンジニアリングの詳細
チームは、JSONキーの順序が確率出力を最大0.19変えることを発見しました。現在は、決定モデルに送信する前にリクエストオブジェクトをキーでソートして正規化しています。
「驚いたことの1つは、JSONキーの順序が答えを変えたことです。同じ内容でもキーの順序が異なると、出力確率が最大0.19変動しました。現在はすべてのリクエストをソートされたキーで送信しています。」
決定モデルを検討すべき場合
この切り替えが成功した理由は次のとおりです。
- タスクは静的カタログに対する閉じた選択肢の分類です。
- チケット量が多いため、レイテンシとトークンコストが重要です。
- 必要なコンテキストは数千トークン以内に収まります。
ラベルに豊富な説明テキストが必要な場合、カタログが頻繁に変更される場合、またはコンテキストがモデルのウィンドウを超える場合は、決定モデルがそのまま置き換えられない可能性があります。
展開から得られた教訓
- 3方向フィーチャーフラグ: SonnetとDeciderを並行実行(
DUALモード)することで、オフラインテストでは見逃された実際のトラフィックでの不一致データが得られました。フラグにより、ロールバックも45秒の設定変更で完了しました。 - コスト主導のリファクタリング: より安価で目的に特化したモデルを使用するようにパイプラインを再設計することで、品質を犠牲にすることなく桁違いの節約が可能になります。
- 可観測性が重要: エンドツーエンドのメトリクス(Lambda実行時間、SageMakerレイテンシ、CloudWatchアラーム)は、新しいパスを検証するために不可欠でした。
コミュニティの反応
「約6年前、私たちは数ミリ秒で動作するSVMを使ったチケット分類パイプラインを構築しました。LLMの回り道を経て、分野が高速で安価な分類器に戻るのを見るのは興味深いです。」 – armcat
「100万チケットあたり約$21,700の節約は、年間9,000万チケット以上で$200万の節約に達することを意味し、エスカレーション、アラーム、キャパシティリクエストの混合を考えると妥当に思えます。」 – Kaedon
「決定モデルは本番ワークロードにおいてLLMより一歩進んでいますが、まだ扱いにくく、カスタムインフラが必要になることがよくあります。」 – nlpnerd
「単純な閉じた選択肢のエージェントが必要なら、Strands DeciderリポジトリとそのサービングノートをGitHubで試してみてください。」 – Strandsブログ著者
自分で試す方法
Strands Deciderのコードベースと推論ガイドはオープンソースです。
- リポジトリ: https://github.com/strands-labs/strands-decider
- 推論ドキュメント(Gemma‑4モデルを含む): https://github.com/strands-labs/strands-decider/blob/0ac22a97e584f3ccf87cc9b8cc5fdbad57cdf534/docs/inference.md#gemma-4-models
モデルをSageMakerにデプロイし、SQS‑Lambdaパイプラインに接続し、AWS AppConfigを使用して3状態スイッチを設定し、独自のトラフィックでパフォーマンスを評価します。
この投稿は、Strandsブログのエントリ「Amazon saves millions by replacing Sonnet 4.6 with Strands Decider」(2026年11月9日公開)と関連するHacker Newsの議論に基づいています。
Sources
関連
- プロジェクト
- Dispatch
- Dispatch
- Dispatch
- Dispatch