InternLM/Intern-Decision

Fast multi-modal decision model

何を解決するか

Intern-Decision は、指定された状態(オプションで画像を含む)と複数のタイプの質問を、関連する確率付きの特定の意思決定に変換するように設計されています。複数選択、スコアリング、および yes/no 質問など、さまざまな形式における意思決定の信頼性を適切に評価できるモデルの必要性に対応しています。

動作方法

このプロジェクトでは、Qwen3.5 の言語バックボーンのみをファインチューニングし、ビジョンタワーとプロジェクターは固定されています。自己回帰的なマスクされた言語モデリングの目的関数を使用しており、アシスタントの入力は JSON スケルトンです。モデルは1回の因果的フォワードパスで各フィールドの回答記号を予測します。推論時には、ロジットを合法な回答記号に制限し、softmax を適用して確率を導出します。また、確率の正確性を向上させるために、温度補正プロセス(Brier および ECE メトリクス)を含んでいます。

対象ユーザー

AI研究者および開発者向けです。ブラウザ操作、ゲーム(例:Mario、Doom)、および一般的な意思決定ベンチマークなど、さまざまなタスクにおいて、単なるラベルだけでなく、正解の確率を適切に評価できる意思決定モデルが必要な方々に最適です。

特徴

  • 多様な意思決定サポート:choice、score、noul(yes/no)の質問タイプを対応。
  • 高い精度:4Bモデルは7つの評価スイートで平均90.02%の精度を達成。
  • 低レイテンシ:RTX 4090 上で4Bモデルの平均ローカルリクエストレイテンシは44.16 ms。
  • 信頼性の高い信頼度:分布補正ベンチマークと、温度スケーラーを調整するためのツールを備え、確率の信頼性を向上。
  • 柔軟な推論:ネイティブな Hugging Face と XTuner の2つの推論バックエンドを提供。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト