featherless-ai/simple-jev

解决的问题

Simple Jev 使开发者能够使用开源语言模型进行结构化分类和评分，而无需训练独立的分类头，也无需应对自回归文本生成的不可预测性。它通过直接从模型的下一个标记概率（logits）中提取决策，消除了对散文或 JSON 完成结果进行解析的需求。

工作原理

与要求模型生成响应不同，Simple Jev 发送提示和一组问题。服务器读取每个问题对应允许答案标签的特定 logits。它采用共享前缀执行策略，即共同上下文仅处理一次，其 KV 缓存可在单个批次中的多个问题后缀间重复使用，显著减少冗余计算。

适用人群

专为需要使用 Hugging Face 的开源模型进行快速、结构化决策的应用开发人员设计，例如客户消息路由、基于评分标准的紧急程度评分，或进行真伪/支持性判断。

特色亮点

• 基于 logits 的评分：从下一个标记概率中提取答案，而非生成文本，避免解析错误。
• KV 缓存重用：仅处理一次共享上下文，并在多个问题中复用，减少输入标记处理量。
• 结构化问题类型：支持 choice（多选）、score（基于评分标准的评分）和 noul（真伪/支持性判断）。
• RFDT（Really Fancy Decision Training）：包含工具，可通过在答案标记 logits 上使用教师-学生蒸馏，对小型模型在特定决策任务上进行微调。