Strands Decider 2B 릴리스 노트 / 새로 추가된 기능

Strands Decider 2B는 에이전트 워크플로우를 위한 저지연 의사결정을 제공합니다

Strands Decider 2B는 옵션 집합 간 선택하고 수치적 점수를 부여하는 데 최적화된 전용 "의사결정 모델"(또는 "시스템 일 모델")입니다. 일반 언어 모델의 유연성을 포기함으로써 Strands Decider 2B는 더 높은 속도, 더 낮은 지연 시간, 더 일관된 출력 형식을 달성하여 에이전트형 AI 파이프라인에서 로컬 개발 및 빠른 실험에 이상적입니다.

모델 아키텍처: 언어 모델 헤드 대신 포인터 헤드 사용

Strands Decider 2B는 사전 훈련된 LLM의 몸체—구체적으로 Qwen3.5-2B—를 수정하여 언어 모델링(LM) 헤드를 제거함으로써 구축됩니다. 이 헤드는 모델이 텍스트를 생성할 수 있게 해주는 부분입니다.

기술적 구현

포인터 헤드: LM 헤드는 약 100만 파라미터의 포인터 헤드로 대체되며, 각 옵션 위치의 은닉 상태를 <answer> 위치의 은닉 상태와 비교하여 점수를 매깁니다.
피니튜닝: 몸체는 랭크-16 LoRA 어댑터를 사용하여 피니튜닝됩니다.
반복적 개발: 공개된 버전(v19)은 여러 차례 반복 개발의 산물입니다. 이전에 사용된 "슬롯 헤드" 버전은 성능이 현저히 낮은 것으로 확인되었습니다.

성능: 정확도, 보정, 지연 시간

Strands Decider 2B는 세 가지 주요 지표를 목표로 합니다: 정확도(정답의 정확성), 보정(신뢰도 점수의 신뢰성), 지연 시간(의사결정 속도).

벤치마크 및 속도

정확도 및 보정: JevBench의 공개 세트에서 2B 파라미터 클래스 내에서 33개 모델 중 3위를 기록했으며, 2B 파라미터 미만의 모델 중에서는 1위입니다.
지연 시간: Nvidia RTX 3090에서 모델의 중앙 결정 지연 시간은 약 115ms입니다. M3 맥북에서는 작은 작업의 중앙 지연 시간이 약 153ms입니다. 지연 시간은 작업 크기(토큰 수)에 따라 약 선형적으로 증가합니다.

의사결정 모델의 사용 사례

의사결정 모델은 높은 품질의 신뢰도 점수를 제공하고, 단일 프롬프트에 대한 여러 질문을 효율적으로 처리할 수 있으므로, 전체 LLM이 너무 느리거나 비용이 많이 드는 작업에 적합합니다.

주요 응용 분야

모델 라우팅 및 도구 선택: 어떤 도구를 호출할지 또는 요청을 어떤 모델로 라우팅할지 결정하는 데 사용합니다.
가드레일 및 평가: 실시간 안전 검사 또는 정책 분류를 구현합니다.
컨텍스트 및 메모리 관리: 정보를 어떻게 검색하고 저장할지 관리하는 데 사용합니다.
하이브리드 에이전트: 반복적이고 쉬운 결정은 의사결정 모델이 담당하고, 복잡한 추론 작업은 전면 LLM에 맡겨 전체 비용과 지연 시간을 줄입니다.

예시: 도구 호출 개입

Strands는 모델이 실행 전 제안된 도구 호출을 평가하는 "개입 시스템"을 보여줍니다. 이 시스템은 두 가지 이진 질문을 던집니다: 인수 값이 사용자 사실에 기반되었는지, 도구 호출이 너무 이르지 않은지. 이러한 점수를 바탕으로 시스템은 Proceed(진행), Deny(거부), Confirm(사람에게 확인 요청), Guide(LLM에게 피드백 제공)를 선택할 수 있습니다.

커뮤니티 인사이트 및 기술적 고려 사항

커뮤니티 논의는 Strands Decider 2B와 같은 의사결정 모델을 배포할 때 고려해야 할 몇 가지 실용적인 사항을 강조합니다:

하드웨어 최적화: 사용자들은 CPU가 아닌 NPU(신경처리장치)로 처리를 옮기면 성능을 두 배로 높이고 전력 소비를 크게 줄일 수 있다고 제안합니다.
배포 형식: llama.cpp 및 Ollama 지원에 대한 커뮤니티 관심이 있습니다. 일부 사용자는 브라우저 기반 배포를 위한 WebGPU 버전을 이미 제작했습니다(예: strands-decider-2B-webgpu).
비판적 시각: 일부 개발자는 공개 세트에서의 벤치마크 보정이 생소한 프로덕션 입력에서의 신뢰성을 보장하지는 않지만, 다른 이들은 JevBench가 텍스트 분류에 너무 치중하여 더 깊은 지능이 필요한 작업을 소홀히 한다고 비판합니다.
대안 아키텍처: Intern-Decision 계열 모델(0.8B, 2B, 4B)이 유사한 Qwen3.5 기반과 포인터 헤드 아키텍처를 사용하고 있음을 지적했습니다.