nokia-applied-research/AnyJev
Turn any LLM into a Jev-style decision model: typed decisions, real probabilities, no training. (continue updating, welcome any issue and PR request)
它解决的问题
当你让大型语言模型(LLM)从列表中选择一个选项时,原始答案常常会因为选项顺序的改变而翻转,而且模型倾向于偏好某些标签,而不考虑实际内容。这使得原始 logit 读数在代理或自动化中的决策变得不可靠。AnyJev 通过让你提出类型化问题(选择、是/否或评分)并返回选项上的概率分布来解决这个问题,无需解析自由文本。免训练模式(L0)无需任何人工标注数据即可消除顺序偏差和标签偏差。
工作原理
你提供状态(上下文)和一个类型化问题。库直接读取模型对选项标签的下一个 token 分布,因此无需解析任何内容。
- 免训练(Decider):适用于任何开放因果 LLM。L0 级别对选项的每个循环旋转读取一次选择(例如,18 个选项旋转 18 次),平均位置效应,并除以无需标签估计的标签先验。你还可以设置旋转预算,当答案足够自信时提前停止,并根据模型自身的完整循环答案进行校准——无需标签。
- 自蒸馏(Tacit):这些是通过自蒸馏训练的微调检查点(1.7B 到 9B)——它们学会在一次前向传播中给出与推理后相同的答案。不使用人工标签或其他模型。使用
adaptive=True时,低置信度决策的受限比例会升级到模型自身的推理(思维链),最终答案作为标签分布读取,因此始终具有概率且不会解析失败。
该库为 Transformers、进程内 vLLM、远程 vllm serve 以及 SGLang 和 llama.cpp(贡献)提供后端。一个小型 HTTP 网关允许多个客户端共享一个升级上限。
适用人群
- 构建 AI 代理或自动化管道的开发者,需要从 LLM 获得可靠的是/否、多项选择或评分决策。
- 使用开放 LLM 且不想训练或标注数据的团队——免训练的
Decider可直接用于任何因果 LM。 - 任何想要小型、快速决策模型(Tacit 1.7B–9B)的人,这些模型在一次前向传播中运行,并且可以仅对最难的少数决策使用推理。
亮点
- 免训练 L0 在 Qwen3-8B(BANKING77-20)上:顺序翻转率从 0.230 降至 0.073,准确率从 0.747 升至 0.803,且 ≤5% 误差下可自动解码的决策比例从 7.7% 跃升至 46.3%——全部无需任何标签。
- Tacit 自蒸馏模型(1.7B 到 9B)在 Hugging Face 上;自适应模式仅将受限比例(默认每 1000 个中的 20%)的低置信度决策升级到推理,每次升级决策通常增加 300–600 个 token。
- AnyJev Tacitus 31B(从 Gemma-4-31B 微调)在 Decision Index 0.4.1 排行榜上并列第 3 名,Full 分数为 66.47(2026-10-21)。
- 相同的免训练
Decider在未更改的 Gemma-4-31B 上,在 Decision Index 0.3 的 149 个条目中排名第 5,Full 分数为 60.22(2026-10-12)。
相关
- 项目
- 项目
- Dispatch
- Dispatch
- 项目