jaredpalmer/kev

解决的问题

kev 是一种旨在替代传统文本生成的分类和评分任务的决策模型。它不生成散文（这可能较慢且不一致），而是为特定问题类型提供校准后的概率，从而实现从单个文档中快速、可靠且结构化的决策。

工作原理

该项目使用 Qwen 基础模型（参数量从 0.5B 到 8B 不等），搭配 LoRA 适配器和自定义指针读出头。它在一次「预填充」（prefill）过程中处理文档和多个问题，无需任何解码。

关键技术机制包括：

• 块因果掩码：确保每个问题都能看到文档，但问题之间无法相互看见，从而保持严格隔离。
• 打包：将状态（文档）和所有问题打包成一个序列，使模型能够并行回答多个问题。
• 指针读出：专用头将选项标记与决策标记进行评分，并应用 softmax 生成概率而非文本。
• 训练：使用带标签结果进行交叉熵训练，确保输出概率被学习并校准。

适用人群

适用于需要高性能、结构化决策 API（兼容 TypeSafe 的 System One 合约）的开发者和研究人员，该 API 可在笔记本电脑上本地运行，也可在云端训练。

亮点

• 三种问题类型：支持 noul（是/否）、choice（多选）、score（有序等级）。
• 高效率：一次前向传播即可回答多个问题，无需解码，显著降低延迟。
• 严格隔离：保证一个问题的答案不会影响另一个问题的答案。
• 即插即用 API：与 typesafe-sdk 兼容，可轻松集成到现有工作流中。
• 硬件灵活：小型模型（0.5B）可在 Mac 上训练，大型模型（4B/8B）可在 32GB Mac 上以 bf16 格式运行。