Strands Decider 2B リリースノート / 新機能紹介

Strands Decider 2B はエージェントワークフロー向けの低遅延意思決定を提供

Strands Decider 2B は、選択肢のセットから選択する、または数値スコアを割り当てるために最適化された特殊な「意思決定モデル」（または「システム1モデル」）です。任意のテキストを生成する柔軟性を犠牲にすることで、Strands Decider 2B はより高速で、遅延が低く、出力形式が一貫した結果を実現しています。これにより、エージェントAIパイプラインにおけるローカル開発や高速な実験に最適です。

モデルアーキテクチャ：言語モデルヘッドのポインター・ヘッドへの置き換え

Strands Decider 2B は、事前に学習されたLLMの胴体（特に Qwen3.5-2B）を変更して構築されており、テキスト生成を可能にする言語モデル（LM）ヘッドを削除しています。

技術的実装

ポインター・ヘッド： LM ヘッドは、約100万パラメータのポインター・ヘッドに置き換えられ、各選択肢位置の隠れ状態を <answer> 位置の隠れ状態と比較してスコア付けを行います。
ファインチューニング： 胴体はランク16の LoRA アダプタを使用してファインチューニングされています。
反復的開発： 公開バージョン（v19）は複数回の反復の結果です。以前の「スロットヘッド」を使用したバージョンは著しく性能が低かったことが判明しました。

性能：正確性、キャリブレーション、遅延

Strands Decider 2B は、正確性（回答の正しさ）、キャリブレーション（信頼度スコアの信頼性）、遅延（意思決定の速度）の3つの主要指標をターゲットとしています。

ベンチマークと速度

正確性とキャリブレーション： JevBench のパブリックセットにおいて、2Bパラメータクラスで33モデル中3位、2Bパラメータ未満のモデルでは1位です。
遅延： Nvidia RTX 3090 では、中央値の意思決定遅延が約115msです。M3 MacBook では、小規模なタスクの中央値遅延は約153msです。遅延はタスクサイズ（トークン数）にほぼ比例して増加します。

意思決定モデルの利用事例

意思決定モデルは、高品質な信頼性スコアを提供し、単一のプロンプトに対して複数の質問を効率的に処理できるため、フルLLMでは遅すぎたりコストがかかりすぎたりするタスクに適しています。

主な応用分野

モデルルーティングとツール選択： どのツールを呼び出すか、またはリクエストをどのモデルにルーティングするかを決定する。
ガードレールと評価： 実時間での安全チェックやポリシー分類を実装する。
コンテキストとメモリ管理： 情報の取得と保存の仕方を管理する。
ハイブリッドエージェント： 意思決定モデルで単純で容易な判断を行い、複雑な推論タスクにはフロンティアLLMを割り当てることで、全体的なコストと遅延を削減する。

例：ツールコール介入

Strands は、実行前に提案されたツールコールを評価する「介入システム」を示しています。モデルは2つの2値質問を投げかけます：引数の値がユーザーの事実に基づいているか、ツールコールが早すぎるか。これらのスコアに基づき、システムは Proceed（実行）、Deny（拒否）、Confirm（人間の確認を求める）、Guide（LLMにフィードバックを提供）のいずれかを実行できます。

コミュニティの知見と技術的考慮事項

コミュニティの議論から、Strands Decider 2B のような意思決定モデルを展開する上でいくつかの実用的な考慮点が浮き彫りになりました。

ハードウェア最適化： ユーザーは、CPUではなくNPU（ニューラルプロセッシングユニット）に処理をオフロードすることで、性能を2倍にし、電力消費を大幅に削減できると提案しています。
デプロイフォーマット： llama.cpp および Ollama のサポートにコミュニティの関心が集まっています。一部のユーザーは既にブラウザベースのデプロイ用の WebGPU 版（例：strands-decider-2B-webgpu）を作成しています。
批判的視点： 一部の開発者は、パブリックセットでのベンチマークキャリブレーションが、未知の本番入力での信頼性を保証するわけではないと警告しています。また、JevBench がテキスト分類に過剰に焦点を当てており、より深い知能を要するタスクを軽視していると批判する声もあります。
代替アーキテクチャ： Intern-Decision ファミリーのモデル（0.8B、2B、4B）も同様の Qwen3.5 ベースとポインター・ヘッドアーキテクチャを使用していることが指摘されました。