malevrigns/agent-jev

它解决了什么问题

AgentJev 解决了在代理循环中，使用大型生成式 LLM 处理简单决策任务（如门控、路由或评分）时的低效和不可靠问题。AgentJev 不是要求大型模型撰写推理回应，然后将该文本解析为布尔值或类别，而是在单次前向传递中，直接提供一组预定义选项的概率分布，消除了 token 解码和 JSON 解析的需求。

它的运作方式

AgentJev 基于 Qwen3-0.6B 骨干，移除了语言模型头，并使用专门的候选头来评分选项。它接收一个状态（例如 diff、堆叠追踪或工单）和一个类型化问题，然后返回三种原语之一的概率分布：

• 布尔值：真/假命题。
• 选择：从 2-255 个提供的选项中选择。
• 评分：有序评分量表上的值（2-10 级）。

为了优化性能，它采用共享前缀缓存机制，将状态编码一次，并为每个候选选项分支，大幅减少冗余计算。

适用对象

它专为构建 AI 代理、分流机器人或复杂工作流程的开发者设计，这些场景需要一个小型、快速的「反射」模型来做出路由或安全决策，而无需完整生成式回合的开销。

亮点

• 零解码 token：直接从隐藏状态返回分布，消除格式错误文本输出的风险。
• 高效率：使用 KV 前缀重用，在宽候选集上比非因果编码器快达 2 倍。
• 类型化原语：为布尔值、选择和评分提供结构化输出，包括信心边际和期望值。
• 集成门控：包含工具使用前挂钩，适用于 Claude Code 等工具，可根据模型评分阻止不安全操作。