Heman10x-NGU/openJev-verdict-2.0

Calibrated 151M Non-Autoregressive Decision Engine beating TypeSafe Jev & Laya on LocalLLaMA/typed-decisions (77.10% acc, 0.0636 Brier, 0.0144 ECE)

解決する課題

openJev-verdict-2.0は、AIを決定論的なソフトウェアワークフローに統合する際の課題に対処します。大規模言語モデルは、コードが確実に解析するのが難しい非構造化テキストを生成することがよくあります。このプロジェクトは、型付きスキーマ(選択肢やスコアなど)を非自己回帰的に評価する判断エンジンを提供し、ソフトウェアがビジネスロジックを制御しながら、正確で較正された意味的分類を受け取ることを可能にします。

仕組み

このエンジンは、ModernBERT-baseに基づく149.6Mパラメータモデルを使用します。単一のフォワードパスで判断を処理し、20〜25msかかります。デュアルチャネル較正システムを特徴としています。1つのチャネルは分布ロジック(判断自体)を処理し、2つ目の専用の信頼度ヘッドが非常に正確な確率推定を提供します。これにより、開発者はしきい値を設定して、あいまいなケースを自動的に人間のオペレーターにルーティングできます。

対象読者

このツールは、金融、セキュリティ、カスタマーサポートシステムなどのエンタープライズアプリケーションを構築する開発者向けに設計されており、ローカルで実行される信頼性の高い高速な判断決定を必要とします。クラウド推論コストを回避し、機密データをデバイス上に保持し、標準的な生成モデルによく見られる予測不可能性を排除したい人に最適です。

ハイライト

  • 高効率: エンタープライズ判断ベンチマークで77.10%の精度を達成し、サイズが2.8倍大きいモデルを上回ります。
  • ローカル実行: WebGPUを介してウェブブラウザで直接実行され、データの外部流出ゼロ、クラウドコストなしを実現します。
  • 較正された信頼度: 専用の信頼度ヘッド(ECE 1.44%)を備え、予測可能なヒューマン・イン・ザ・ループのエスカレーションを可能にします。
  • 順序ロバスト性: 対称KLダイバージェンストレーニングを使用して、入力オプションがシャッフルされたときの「反転率」を最小限に抑え、標準モデルと比較してバイアスを大幅に削減します。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト