Microsoft‑Decision‑1: 高速・低コストの意思決定スコアリングモデル – その概要、性能、重要性

TL;DR – 重要なポイント

  • 概要: 9Bパラメータのデコーダーモデルで、単一のフォワードパスで各回答選択肢の校正済み確率を出力します。
  • 性能: GPT‑6 Solと比較して35倍高速(約35 ms対1.2 s)、最大14倍低コストで、Jev‑Bench‑1.0‑Largeと同等の精度(36ベンチマークスイートで約98 %)を達成し、多くの大規模LLMを上回ります。
  • 価格: 入力トークン100万あたり$0.042 USD。出力トークンは無料です。
  • 利用可能性: Microsoft Foundry(AI Azureカタログ)およびOpenRouter(モデルID microsoft/microsoft-decision-1)で利用可能。
  • ユースケース: リアルタイムルーティング、安全性フィルタリング、エージェント型意思決定ゲーティング、データラベリング、インシデント対応トリアージ、科学的発見のスクリーニング、および高速で校正済みの選択確率を必要とするあらゆるワークフロー。
  • 今後のロードマップ: MAIおよびOpenAIモデルでの再トレーニング、ベンチマーク範囲の拡大、信頼性キャリブレーションの強化。

1. Microsoft‑Decision‑1とは?

Microsoft‑Decision‑1は、一連の回答オプションを単一のフォワードパスで確率分布に変換するように設計された意思決定スコアリングモデルです。自由形式のテキストを生成し、その後スコアを抽出するために後処理を必要とする一般的なLLMとは異なり、Decision‑1は各オプションに対して校正済みの確率を直接出力するため、以下に最適です:

  • ルーティング(最適な下流モデルまたはサービスを選択)、
  • 安全性/コンプライアンスゲーティング(校正済みリスクに基づく承認/拒否)、
  • エージェント型制御(自律エージェントが行動すべきかどうかを決定)、
  • 分類(ラベリング、感情分析、意図)、および
  • 科学的スクリーニング(仮説、化合物、実験のフィルタリング)。

このモデルは、Qwen‑3.5‑9B(90億パラメータのオープンソースデコーダー)からファインチューニングされています。Microsoftは後でMAIおよびOpenAIモデルに再ベースする予定ですが、現在のバージョンはすでに最先端の速度・コストトレードオフを提供しています。

API契約(OpenRouter)

POST https://openrouter.ai/api/v1/chat/completions
{
  "model": "microsoft/microsoft-decision-1",
  "messages": [{"role": "user", "content": "Question: What is the capital of France? Options: A) Berlin B) Paris C) Madrid"}],
  "temperature": 0,
  "max_tokens": 1
}

応答には、選択されたオプションにマッピングされる単一のトークンが含まれ、**logprob**フィールドは各選択肢の校正済み確率を提供します。


2. ベンチマーク結果 – 速度、コスト、精度

2.1 ベンチマークスイート

MicrosoftはDecision‑1を36の公開ベンチマーク(Jev‑Bench、Strands‑Decider、カスタムの「コスト対精度」スイートを含む)で評価し、以下をカバーしています:

  • 分類(例:意図、安全性)、
  • ルーティング(モデル選択)、
  • ランキング、および
  • 制約下での意思決定。 すべてのベンチマークはモデルに対してブラインド(トレーニングデータを除外)で、公平な比較のために同じハードウェアで実行されました。

2.2 速度とレイテンシ

モデル 中央値レイテンシ(p50) 相対速度
Microsoft‑Decision‑1 約35 ms 1×(ベースライン)
GPT‑6 Sol 約1.2 s 約35倍遅い
Jev‑Bench‑1.0‑Large(Qwen‑1.0‑Large) 約400 ms 約11倍遅い
deck‑31B(H2O‑Lightning‑4B) 約800 ms 約23倍遅い

Decision‑1のシングルパスアーキテクチャは、複数のトークン生成の必要性を排除し、評価されたすべてのモデルの中で最速のスコアを提供します。

2.3 コスト

  • 入力のみの価格: トークン100万あたり$0.042 USD(1 kトークンあたり約$0.000042)。
  • 出力は無料 – 意思決定ごとに単一トークンなので、意思決定あたりの実効コストは実質的に入力トークンコストです。
  • GPT‑6 Sol(トークン100万あたり約$0.60 USD)と比較して、Decision‑1は約14倍安価です。

2.4 精度とキャリブレーション

モデル 全体精度(36ベンチマークの平均)
Microsoft‑Decision‑1 約98 %(Jev‑Bench‑1.0‑Largeと同等またはそれ以上)
Jev‑Bench‑1.0‑Large 97 %
GPT‑6 Sol 94 %
deck‑31B 92 %

キャリブレーション – Decision‑1の確率スコアは、タスク間で直接比較可能です。これは、生のトークン確率がうまく校正されていない可能性がある一般的なLLMとは異なります。「ロバスト性」テスト(8つの摂動で1.3 %のフリップ率)では、Decision‑1は決定の**わずか1.3 %**しか反転せず、テストされたすべてのモデルの中で最低でした。


3. Microsoftが実証した実世界のユースケース

カテゴリ 例 Decision‑1の使用方法
エージェント型ゲーティング 自律エージェントがユーザーのデータ削除を提案します。Decision‑1は安全ポリシーを評価し、アクションが安全である確率99 %を返し、システムが自動的に進行できるようにします。 エージェントが行動する前に、高速で校正済みの安全チェックを提供します。
ルーティング チャットボットがユーザークエリに最適なLLMを選択する必要があります(コスト対品質に敏感)。Decision‑1は候補モデルをスコアリングし、品質しきい値を満たす最も安価なモデルを選択します。 ミリ秒単位での動的なモデル選択を可能にします。
安全性フィルタリング コンテンツモデレーションパイプラインがユーザー生成テキストを安全/不安全に分類します。Decision‑1は確率を返し、> 0.9の場合はコンテンツが自動承認され、それ以外の場合はレビュー用にフラグが立てられます。 高スループットのモデレーションでのレイテンシを削減します。
データラベリング ソーシャルメディア投稿の大規模コーパスに感情または意図のラベルが付けられます。Decision‑1は各ラベルに確率を割り当て、下流システムが信頼度に基づいて決定を重み付けできるようにします。 コストを低く抑えながらラベリング品質を向上させます。
インシデント対応トリアージ オンコールエンジニアが説明付きのアラートを受け取ります。Decision‑1はインシデントタイプ(例:ネットワーク、データベース、セキュリティ)を分類し、適切なチームにルーティングします。 トリアージまでの平均時間を数分から数秒に短縮します。
科学的発見 化学パイプラインが候補化合物を生成します。Decision‑1は各化合物をルーブリック(毒性、合成可能性)に基づいて評価し、ランク付けし、ラボが上位5 %に集中できるようにします。 手動レビューと比較して仮説スクリーニングを約4倍加速します。

4. 価格詳細

  • 入力のみのコスト: トークン100万あたり$0.042 USD(1 kトークンあたり約$0.000042)。
  • 出力トークン: 無料 – モデルは意思決定ごとに単一トークンを出力するように設計されているため、意思決定の全コストは入力プロンプトのコストです。
  • 比較: GPT‑6 Solはトークン100万あたり約$0.60 USDかかるため、同じワークロードでDecision‑1は約14倍安価です。
  • 請求: 価格はOpenRouterモデルページおよびMicrosoft Foundryカタログエントリに記載されています。

5. 利用可能性と試用方法

プラットフォーム アクセスURL 認証
Microsoft Foundry https://ai.azure.com/catalog/models/Microsoft-Decision-1 Azure AD(Azureサブスクリプション)
OpenRouter https://openrouter.ai/microsoft/microsoft-decision-1 APIキー(無料ティアあり)

両プラットフォームは、OpenAI APIスキーマと互換性のあるチャット完了エンドポイントを公開しています。モデルはすでに稼働中で、待機リストは必要ありません。


6. ロードマップと今後の作業

  1. MAIおよびOpenAIバックボーンでの再トレーニング – 低レイテンシアーキテクチャを維持しながら、推論と多言語サポートを向上させます。
  2. ベンチマークスイートの拡張 – より多くの安全クリティカルおよびドメイン固有タスク(例:医療トリアージ、金融コンプライアンス)を追加します。
  3. 信頼性キャリブレーションの改善 – より大規模なキャリブレーションデータセットでのファインチューニングにより、確率の信頼性を高めます。
  4. ツーリング – シンプルなscore(options, prompt)ヘルパーを公開するPython、JavaScript、.NET用SDK。
  5. エッジ展開 – オンデバイス推論用の軽量ONNXバージョン(例:Windows Copilot、Azure IoT Edge)。

7. コミュニティと批判(HNスレッドの内容)

  • 価格比較: 一部のコメンテーターは、MicrosoftがコストをGPT‑6 Solとのみ比較し、Jev‑Bench‑1.0‑Large(Lunaより約4倍安い)とは比較していないと指摘しました。Microsoftの$0.042 USD/Mトークンは、依然としてGPT‑6タイプのオファリングよりも大幅に低いですが、コミュニティはJevとの直接比較を期待しています。
  • モデル選択: Qwen‑3.5‑9B(中国起源のモデル)から始める決定は眉をひそめさせました。Microsoftの応答:「すぐにMAIおよびOpenAIモデルに再ベースします」と、バックボーンを多様化する計画を示しています。
  • APIドキュメント: 初期のユーザーはOpenAPI仕様の欠如を報告しました。FoundryとOpenRouterの両方が、簡単な統合のためにSwagger/OpenAPI JSONを提供するようになりました。
  • 命名とブランディング: 「Microsoft Decision‑1」がWindowsスタイルのUIコンポーネント(例:「Clippy」)のように聞こえるという冗談がいくつかありました。この名前はモデルの目的(意思決定スコアリング)を反映し、Microsoftの製品ライン命名規則(例:Copilot、Designer)に従っています。
  • ユースケースの関連性: 一部のコメンテーターは、モデルが単純な分類タスクには過剰設計ではないかと疑問視しました。Microsoftのポジショニングはエージェント型AIを強調しており、高速で校正済みの決定が下流のアクションをゲートするため、低レイテンシと低コストのプロファイルが不可欠です。

8. クイックスタートコードスニペット(Python)

import openai

client = openai.OpenAI(base_url="https://openrouter.ai/api/v1", api_key="YOUR_KEY")

prompt = (
    "Question: Which team should handle a security incident? "
    "Options: A) Tech Support B) Security Team C) Customer Success"
)

response = client.chat.completions.create(
    model="microsoft/microsoft-decision-1",
    messages=[{"role": "user", "content": prompt}],
    temperature=0,
    max_tokens=1,
    logprobs=True,
)

# Extract probabilities for each option
logprobs = response.choices[0].logprobs.top_logprobs[0]
probs = {k: round(10**v * 100, 2) for k, v in logprobs.items()}
print(probs)  # e.g., {'A': 2.3, 'B': 94.7, 'C': 2.9}

辞書probsは、各回答選択肢の校正済み確率を提供し、下流の意思決定ロジックに使用できます。


9. 結論

Microsoft‑Decision‑1は、LLMエコシステムの欠けていたニッチを埋めます:ルーティング、安全ゲーティング、エージェント型制御にすぐに使える高速で安価な校正済み意思決定スコアラーです。36ベンチマークスイートでの性能は、最先端の精度を達成しながら、同等のGPT‑6オファリングと比較して35倍の低レイテンシと最大14倍の低コストを提供します。このモデルはAzure FoundryとOpenRouterで既に使用可能であり、ロードマップはより広範なバックボーン、より厳密なキャリブレーション、エッジ展開を約束しています。

自律エージェント、リアルタイムルーティングパイプライン、または高スループットの安全フィルターを構築している場合、Microsoft‑Decision‑1は、レイテンシとコストの両方を劇的に削減できる実用的で本番準備の整ったオプションです。

Sources

関連

  • Dispatch
  • プロジェクト
  • Dispatch
  • Dispatch
  • Dispatch