Amazon, Claude Sonnet 4.6을 Strands Decider로 교체, 티켓 라벨링 비용 98% 절감
결론
Amazon은 대용량 내부 티켓 라벨링 시스템을 Claude Sonnet 4.6에서 Strands Decider 결정 모델로 전환하여 라벨링 품질을 유지하면서 토큰 소비를 70% 줄이고 티켓당 비용을 $0.0222에서 약 $0.0005로 낮췄습니다. 이는 98% 절감으로, 연간 수백만 달러의 비용 절감 효과로 이어집니다.
티켓 분류에 LLM보다 결정 모델이 나은 이유
결정 모델은 자유 형식 텍스트를 생성하지 않습니다. 고정된 옵션 집합을 받아 확률 분포와 신뢰도 점수를 반환합니다. Amazon의 티켓 워크플로에서 상태는 티켓 내용이고 옵션은 20개의 사전 정의된 라벨 범주입니다. 이는 결정 모델 인터페이스와 완벽하게 일치하므로, JSON을 생성하는 생성형 LLM을 단일 토큰 선택 출력으로 대체할 수 있습니다.
"결정 모델은 텍스트를 생성할 수 없습니다. 먼저 상태와 옵션 집합이 포함된 질문이 주어지면, 결정 모델은 각 옵션에 대한 확률과 신뢰도 점수를 반환합니다." – Strands 블로그
프로덕션 전환 아키텍처
마이그레이션은 기존 AWS 스택을 그대로 유지했습니다.
- 티켓 수집 – 이벤트가 SQS 큐에 도착합니다.
- Lambda 트리거 – Lambda가 티켓을 읽고 AWS AppConfig의 기능 플래그를 조회한 후 Sonnet, Strands Decider 또는 둘 다를 호출합니다.
- 모델 서빙 – Strands Decider는 E4B Gemma-4 모델과 함께 SageMaker AI 엔드포인트(ml.g5.xlarge)에서 실행됩니다. 모델은 약 19GiB RAM을 사용하며 요청을 약 640ms에 처리합니다.
- 관찰 가능성 – CloudWatch 로그, 메트릭, 알람이 지연 시간과 오류율을 모니터링합니다. CDK가 Beta, Gamma, Prod 단계로 전체 스택을 정의합니다.
3방향 기능 플래그(BEDROCK, DUAL, DECIDER)를 통해 Amazon은 완전히 전환하기 전에 출력을 나란히 비교할 수 있었습니다.
측정된 성능 개선
| 메트릭 | Claude Sonnet 4.6 | Strands Decider E4B | 상대적 개선 |
|---|---|---|---|
| 호출당 평균 지연 시간 | 4,215ms | 897ms | 78% 더 빠름 |
| 티켓당 입력 토큰 | 6,554 | 2,009 | – |
| 티켓당 출력 토큰 | 170 | 1 | – |
| 티켓당 총 토큰 | 6,724 | 2,010 | 70% 감소 |
토큰 감소는 두 가지 요인에서 비롯됩니다:
- Strands Decider는 JSON 페이로드 대신 단일 선택 토큰을 반환합니다.
- 프롬프트가 크게 짧아졌습니다. 라벨 설명이 한두 문장의 기준으로 압축되어 4,096토큰 창에 충분히 들어갑니다.
하루 동안의 Lambda 실행 시간 추적 결과 전환 후 평균 실행 시간이 74% 감소했습니다.
게시된 AWS 요금 기준 비용 비교
| 가격 구성 요소 | Claude Sonnet 4.6 (Bedrock) | Strands Decider E4B (SageMaker) |
|---|---|---|
| 토큰 가격 | $3.00 / 백만 입력, $15.00 / 백만 출력 | $1.408 / 인스턴스 시간 |
| 티켓당 비용 | $0.0222 | ≈ $0.0005 |
| 백만 티켓당 비용 | ≈ $22,200 | ≈ $500 |
요청당 약 640ms에서 단일 ml.g5.xlarge 인스턴스는 시간당 약 5,600티켓을 처리할 수 있으며, 완전 활용 시 이론적 비용은 백만 티켓당 $250입니다. 실제로 Amazon은 백만 티켓당 약 $500를 관찰하며, 여전히 Sonnet보다 44배 저렴합니다.
예상치 못한 엔지니어링 세부 사항
팀은 JSON 키 순서가 확률 출력을 최대 0.19까지 변경한다는 것을 발견했습니다. 이제 결정 모델에 요청을 보내기 전에 키를 정렬하여 요청 객체를 정규화합니다.
"우리를 놀라게 한 한 가지는 JSON 키 순서가 답을 바꾼다는 점이었습니다. 키를 다른 순서로 보내면 출력 확률이 최대 0.19까지 이동했습니다. 이제 모든 요청을 정렬된 키로 보냅니다."
결정 모델을 고려해야 할 때
이 전환은 다음과 같은 이유로 성공했습니다:
- 작업은 정적 카탈로그에 대한 폐쇄형 선택 분류입니다.
- 티켓 볼륨이 높아 지연 시간과 토큰 비용이 중요합니다.
- 필요한 컨텍스트가 수천 토큰 이내에 들어갑니다.
라벨에 풍부한 설명 텍스트가 필요하거나, 카탈로그가 자주 변경되거나, 컨텍스트가 모델 창을 초과하는 경우 결정 모델은 즉시 대체재가 아닐 수 있습니다.
롤아웃에서 얻은 교훈
- 3방향 기능 플래그: Sonnet과 Decider를 병렬로 실행(
DUAL모드)하면 오프라인 테스트에서 놓친 실제 트래픽 불일치 데이터를 얻을 수 있었습니다. 플래그는 또한 롤백을 45초 구성 변경으로 만들었습니다. - 비용 중심 리팩터링: 더 저렴하고 목적에 맞는 모델을 사용하도록 파이프라인을 재설계하면 품질 저하 없이 규모의 경제로 절감할 수 있습니다.
- 관찰 가능성의 중요성: 종단 간 메트릭(Lambda 실행 시간, SageMaker 지연 시간, CloudWatch 알람)은 새 경로를 검증하는 데 필수적이었습니다.
커뮤니티 반응
"약 6년 전 우리는 몇 밀리초 안에 실행되는 SVM으로 티켓 분류 파이프라인을 구축했습니다. LLM 우회 후 분야가 빠르고 저렴한 분류기로 다시 돌아오는 것을 보니 흥미롭습니다." – armcat
"백만 티켓당 약 $21,700 절감은 연간 9천만 티켓 이상을 의미하며, 에스컬레이션, 알람, 용량 요청의 혼합을 고려할 때 그럴듯합니다." – Kaedon
"결정 모델은 프로덕션 워크로드에서 LLM보다 한 단계 위지만, 여전히 작업하기 어렵고 종종 사용자 지정 인프라가 필요합니다." – nlpnerd
"간단한 폐쇄형 선택 에이전트가 필요하다면 GitHub의 Strands Decider 저장소와 서빙 노트를 사용해 보세요." – Strands 블로그 작성자
직접 시도하는 방법
Strands Decider 코드베이스와 추론 가이드는 오픈소스입니다:
- 저장소: https://github.com/strands-labs/strands-decider
- 추론 문서(Gemma-4 모델 포함): https://github.com/strands-labs/strands-decider/blob/0ac22a97e584f3ccf87cc9b8cc5fdbad57cdf534/docs/inference.md#gemma-4-models
SageMaker에 모델을 배포하고, SQS-Lambda 파이프라인에 연결하고, AWS AppConfig를 사용하여 3상태 스위치로 자체 트래픽에서 성능을 평가하세요.
이 게시물은 Strands 블로그 게시물 "Amazon saves millions by replacing Sonnet 4.6 with Strands Decider"(2026-11-09 게시) 및 관련 Hacker News 토론을 기반으로 합니다.
Sources
관련
- 프로젝트
- Dispatch
- Dispatch
- Dispatch
- Dispatch