制約付きデコーディングによるカスタム意思決定モデルの構築

意思決定モデルと生成型LLMの比較

意思決定モデルは、しばしば「システム1」モデルと呼ばれ、LLMのパラダイムを自由形式のテキスト生成から単一パスの分類へとシフトさせます。標準的なLLMが構造化された応答を生成するために複数の推論パスを必要とする一方で（例えば、単純なJSONオブジェクトを出力するのに11パス）、意思決定モデルは出力ボキャブラリを固定された事前定義オプションのセットに制約します。ボキャブラリ内の他のすべてのトークンをマスクすることで、モデルは単一パスで最終回答を出力でき、レイテンシと計算コストを大幅に削減します。

制約付きデコーディングによる意思決定モデルの実装

意思決定モデルの構築は、モデルの出力トークンを特定のオプション識別子（例：「A」、「B」、「C」、「D」、「E」）のセットに制限することで達成できます。Qwen/Qwen3-1.7Bのようなモデルを使用する場合、そのプロセスは以下の通りです：

トークン識別：各許可されたオプションのトークンIDを特定します。
プロンプトのフォーマット：質問とオプションを明確に提示するようにプロンプトを構成します。
ロジットマスキング：フォワードパスの最終ステップで、許可されたオプショントークンのロジットのみを抽出します。
確率分布：これらのフィルタリングされたロジットにソフトマックス関数を適用して、各オプションの確率を決定します。

CommonsenseQAデータセットに対するテストでは、ベースの1.7Bモデルは59.38%の精度を達成し、ターゲットを絞ったファインチューニングプロセス後に62.41%に改善されました。

モデルキャリブレーションの課題

LLMからの生の出力確率は、しばしば回答が正しい実際の確率ではなく、次のトークンに対するモデルの信頼度を反映します。これにより、過信が生じ、モデルが70%の確率でしか正しくない回答に99%の確率を割り当てる可能性があります。

キャリブレーションのための温度スケーリング

モデルの信頼度スコアを実際の精度に合わせるために、温度スケーリングを使用できます。温度パラメータ（$T$）を調整することで、出力確率分布が平坦化されます。

未キャリブレーション（$T=1.0$）：モデルは高い信頼度（例：94.3%）を示すかもしれませんが、期待キャリブレーション誤差が高くなります。
キャリブレーション済み（$T=2.2$以上）：温度を上げることで、分布はモデルの実際の精度に近似するようにスケーリングされ、期待キャリブレーション誤差が減少します（例：20.1%から2.9%へ）。

コミュニティの視点と技術的批判

「意思決定モデル」の出現は、機械学習エンジニアの間で、これが根本的なアーキテクチャのシフトなのか、それとも従来の分類器のリブランディングなのかについて議論を引き起こしています。

分類器と意思決定モデル

一部の実務者は、意思決定モデルは単にゼロショット分類器であり、LLMが何年も前から持っている能力であると主張しています。あるコメンテーターは次のように述べています：

「つまり『意思決定モデル』は分類器の新しいかっこいい用語なの？何十年も前から存在していたあのもののことだよね」

他の人々は、その価値はアクションスペースの縮小—チューリング完全な出力（コードなど）から多肢選択への移行—にあり、これによりツール呼び出しと信頼性が簡素化されると示唆しています。

実装の代替案

提供された実装はtransformersとPyTorchを使用していますが、コミュニティメンバーは、200ms未満の応答時間を目指すJeffyやLayaなど、ローカルまたはブラウザベースの実行のためのより軽量な代替案を強調しました。

「P-hacking」論争

特定のベンチマークに後からモデルを適合させるために温度スケーリングを使用することについては、技術的な懐疑論があります。一部のユーザーは、このアプローチが「許可されている」のか、それとも「p-hacking」に似ているのかを疑問視し、キャリブレーションは特定のデータセットの結果に合わせて調整されるのではなく、より一般化されるべきだと示唆しました。