Heman10x-NGU/openJev-verdict-2.0

Calibrated 151M Non-Autoregressive Decision Engine beating TypeSafe Jev & Laya on LocalLLaMA/typed-decisions (77.10% acc, 0.0636 Brier, 0.0144 ECE)

解决的问题

openJev-verdict-2.0 解决了将 AI 集成到确定性软件工作流中的挑战。大型语言模型通常生成代码难以可靠解析的非结构化文本。该项目提供了一个决策引擎,以非自回归的方式评估类型化模式(如选项或分数),使软件能够在保持对业务逻辑控制的同时,接收精确、校准的语义分类。

工作原理

该引擎使用基于 ModernBERT-base 的 1.496 亿参数模型。它在单次前向传播中处理决策,耗时 20–25 毫秒。它采用双通道校准系统:一个通道处理分布逻辑(决策本身),而第二个专门的置信度头提供高度准确的概率估计。这使开发人员能够设置阈值,自动将模糊案例路由给人工操作员。

适用人群

该工具专为构建企业应用程序(如金融、安全或客户支持系统)的开发人员设计,这些系统需要可靠、高速且本地运行的决策能力。它非常适合希望避免云推理成本、将敏感数据保留在设备上,并消除标准生成模型中常见不可预测性的人士。

亮点

  • 高效率: 在企业决策基准测试中达到 77.10% 的准确率,超越体积大 2.8 倍的模型。
  • 本地执行: 通过 WebGPU 直接在网页浏览器中运行,确保零数据泄露且无云成本。
  • 校准置信度: 配备专门的置信度头(ECE 1.44%),实现可预测的人机回环升级。
  • 顺序鲁棒性: 使用对称 KL 散度训练,最小化输入选项打乱时的“翻转率”,与标准模型相比显著减少偏差。

相关

  • 项目
  • 项目
  • 项目
  • 项目