nokia-applied-research/AnyJev

Turn any LLM into a Jev-style decision model: typed decisions, real probabilities, no training. (continue updating, welcome any issue and PR request)

解決する問題

大規模言語モデル(LLM)にリストからオプションを選ばせると、オプションの順序を変えると生の回答が変わることが多く、モデルは実際の内容に関係なく特定のラベルを好む傾向があります。そのため、エージェントや自動化での決定に生のロジット読み出しは信頼できません。AnyJev は、型付き質問(選択、はい/いいえ、スコア)を尋ね、オプションの確率分布を返すことでこれを修正し、自由テキストの解析は不要です。トレーニング不要モード(L0)は、人間がラベル付けしたデータなしで順序バイアスとラベルバイアスの両方を除去します。

仕組み

状態(コンテキスト)と型付き質問を提供します。ライブラリはモデルのオプションラベルに対する次のトークン分布から直接読み取るため、解析は行われません。

  • トレーニング不要(Decider):任意のオープン因果 LLM で動作します。L0 レベルはオプションの循環回転ごとに選択を 1 回読み取り(例:18 オプションで 18 回転)、位置効果を平均化し、ラベルなしで推定されたラベル事前分布で割ります。また、回答が十分に自信があるときに早期停止する回転予算を設定でき、モデル自身の全サイクル回答に対して較正されます—ラベルは不要です。
  • 自己蒸留(Tacit):これらは自己蒸留によってトレーニングされた微調整チェックポイント(1.7B から 9B)です—推論後に到達するのと同じ回答を 1 回のフォワードパスで与えることを学習します。人間のラベルや他のモデルは使用されません。adaptive=True を使用すると、低信頼度の決定の上限付きシェアがモデル自身の推論(思考連鎖)にエスカレーションされ、最終回答はラベル分布として読み取られるため、常に確率を持ち、解析に失敗しません。

ライブラリは、Transformers、プロセス内 vLLM、リモート vllm serve、および SGLang と llama.cpp(貢献)のバックエンドを提供します。小さな HTTP ゲートウェイにより、多くのクライアントが 1 つのエスカレーション上限を共有できます。

対象者

  • LLM から信頼できるはい/いいえ、多肢選択、またはスコアリング決定を必要とする AI エージェントまたは自動化パイプラインを構築する開発者。
  • データをトレーニングまたはラベル付けせずにオープン LLM を使用するチーム—トレーニング不要の Decider は任意の因果 LM でそのまま動作します。
  • 1 回のフォワードパスで実行され、最も難しい数パーセントの決定にのみ推論をオプションで使用できる、小型で高速な決定モデル(Tacit 1.7B–9B)を求める人。

ハイライト

  • トレーニング不要 L0 を Qwen3-8B(BANKING77-20)で使用:順序反転率が 0.230 から 0.073 に低下、精度が 0.747 から 0.803 に向上、≤5% エラーで自動デコード可能な決定の割合が 7.7% から 46.3% に跳ね上がります—すべてラベルなしで。
  • Tacit 自己蒸留モデル(1.7B から 9B)は Hugging Face にあります。適応モードは低信頼度の決定の上限付きシェア(デフォルトで 1000 ごとに 20%)のみを推論にエスカレーションし、エスカレーションされた決定ごとに通常 300–600 トークンを追加します。
  • AnyJev Tacitus 31B(Gemma-4-31B から微調整)は、Decision Index 0.4.1 リーダーボードで Full スコア 66.47(2026-10-21)で 3 位に並びました。
  • 同じトレーニング不要の Decider を変更なしの Gemma-4-31B で使用すると、Decision Index 0.3 の 149 エントリ中 5 位で、Full スコア 60.22(2026-10-12)です。

関連

  • プロジェクト
  • プロジェクト
  • Dispatch
  • Dispatch
  • プロジェクト