featherless-ai/simple-jev
Turn any open model into a classifier/jev endpoint
解决的问题
Simple Jev 允许用户利用开源语言模型进行结构化分类与评分,无需训练额外的分类头。它消除了模型逐个 token 生成并解析文本或 JSON 响应的需求,从而降低延迟并确保输出始终遵循严格的架构。
运作原理
系统不使用自回归生成,而是利用模型的下一个 token logits(下一个可能 token 的原始概率分数)来决定答案。
- 共享上下文:服务器处理一次通用输入(状态或聊天记录)并保存 KV cache。
- 分支处理:为请求中的每个问题建立独立的评分分支,重复使用共享前缀以避免冗余计算。
- Logit 评分:服务器读取特定允许答案标签的 logits,并将其标准化以建立包含选项、评分标准或事实判断的 JSON 响应。
适用对象
需要从 LLM 获得快速、结构化决策(如路由、紧急程度评分或事实核查),且希望避免 JSON 生成与解析所带来的开销与不稳定性的开发者。
特点
- 仅预填充评分 (Prefill-only Scoring):通过使用下一个 token logits 完全避免解码循环,显著减少 token 处理开销。
- 选择、评分与 Noul:支持三种不同的问题类型:多选(最多 255 个选项)、基于评分标准的评分(最多 50 个等级)以及事实/支持判断 (Noul)。
- KV Cache 重复使用:通过在单一请求中跨多个问题处理共享上下文来优化性能。
- 模型无关:兼容于 Hugging Face 上的各种开源模型,包括 Qwen、Gemma 和 LLaVA 系列视觉模型。
- 评估工具:包含用于提示词搜索与准确度基准测试的框架 (JevBench)。
相关
- Dispatch
- 项目
- Dispatch
- 项目