strands-labs/strands-decider

解決する課題

Strands Decider は、大規模言語モデル（LLM）と従来の分類モデルの間のギャップを埋めます。LLM は柔軟ですが遅く高コストであり、従来の分類器は高速ですが、大量のトレーニングとドメイン専門知識を必要とします。Strands Decider は、任意のテキスト生成を必要とせずに、選択肢の選定やスコアリングが可能な汎用的な意思決定モデルとして、高速でデプロイが容易です。

動作方法

このプロジェクトは事前学習済みのデコーダ LLM トール（Qwen3.5-2B-Base）を使用し、言語モデルヘッドを小さな「ポインタヘッド」（約100万パラメータ）に置き換えます。テキスト生成のデコードループではなく、1回のフォワードパスで、答えの位置の隠れ状態と選択肢の最後のトークンの隠れ状態を比較してスコアを算出します。マスク付きソフトマックスにより、以下の3種類の質問に対応します：

• Noul: Yes/No 質問。
• Choice: N個の選択肢から1つを選ぶ。
• Score: 順序付き基準でアイテムを評価する。

ネイティブにマルチモーダルであり、ビジョンタワーを使用して状態に画像を含めることができます。

対象ユーザー

エージェント型AIワークフローを開発する開発者向けです。モデルルーティング、ツール選択、議論の検証、トリアージ、ガードレールなど、高速かつ信頼性の高い意思決定コンポーネントが必要なタスクに最適です。

特徴

• 高速性: RTX 3090 で中央遅延115ms。
• 信頼性の高い信頼度スコア: 信頼度スコアが適切にキャリブレーションされており、ユーザーが人間の判断に委ねるべきタイミングを判断するのに役立ちます。
• 効率的な推論: 同じテキストに対する複数の質問は、状態を1回だけ読み込むため、効率的に処理できます。
• ハードウェアの柔軟性: NVIDIA GPU、Apple Silicon Mac（MLX経由）、CPUで動作可能。
• マルチモーダル対応: 再トレーニングなしで画像を処理し、意思決定に基づく質問に回答できます。