strands-labs/strands-decider

해결하는 문제

Strands Decider는 대규모 언어 모델(LLM)과 전통적인 분류 모델 사이의 격차를 메웁니다. LLM은 유연하지만 느리고 비싸며, 전통적인 분류기는 빠르지만 광범위한 훈련과 도메인 전문 지식이 필요합니다. Strands Decider는 임의의 텍스트 생성 없이도 선택지 중 하나를 선택하거나 항목을 평가할 수 있는 일반 목적의 의사결정 모델로, 빠르고 배포가 쉬우며 높은 효율성을 제공합니다.

작동 방식

이 프로젝트는 사전 훈련된 디코더 LLM 토르소(Qwen3.5-2B-Base)를 사용하고, 언어 모델 헤드를 작은 '포인터 헤드'(약 100만 파라미터)로 교체합니다. 텍스트 생성을 위한 디코딩 루프 대신, 단일 포워드 패스를 통해 답변 위치의 은닉 상태를 선택지의 마지막 토큰의 은닉 상태와 비교하여 점수를 계산합니다. 마스크된 소프트맥스를 통해 세 가지 유형의 질문을 지원합니다:

• Noul: 예/아니오 질문.
• Choice: N개의 선택지 중 하나를 선택.
• Score: 순서가 있는 기준에 따라 항목을 평가.

네이티브로 멀티모달이며, 비전 타워를 사용해 상태에 이미지를 포함시킬 수 있습니다.

대상 사용자

모델 라우팅, 도구 선택, 주장 검증, 우선순위 정하기, 가드레일 등과 같은 작업에 빠르고 신뢰할 수 있는 의사결정 컴포넌트가 필요한 에이전트형 AI 워크플로우를 구축하는 개발자에게 적합합니다.

주요 특징

• 고속성: RTX 3090에서 중앙 지연 시간 115ms.
• 정교한 신뢰성: 신뢰도 점수가 잘 캘리브레이션되어 사용자가 인간의 개입을 언제 결정할지 판단하는 데 도움이 됩니다.
• 효율적인 추론: 동일한 텍스트에 대한 여러 질문은 상태를 한 번만 로드하면 효율적으로 처리할 수 있습니다.
• 하드웨어 유연성: NVIDIA GPU, Apple Silicon Mac(MLX를 통해), CPU에서 실행 가능.
• 멀티모달 지원: 재훈련 없이 이미지를 처리해 의사결정 기반 질문에 답변할 수 있습니다.