jaredpalmer/kev

Jev-like family of decision models built on top of Qwen3.5/3.8 you can train and run on your own

解决的问题

Kev 提供了一系列小型、专业的决策模型,旨在处理分类、评分和是非决策等结构化任务。它作为专有决策模型 API 的开源替代方案,允许开发人员在本地或自己的基础设施上运行高精度、经过校准的决策逻辑。

工作原理

Kev 模型基于 Qwen 基础模型构建,并针对特定的决策任务进行了优化。它们接受文本输入(“状态”)和一组问题,并返回带有相关概率的结构化答案。这些模型被设计为与现有的 TypeSafe SDK 直接兼容。它们支持在自定义数据集上进行微调以适应特定的领域需求,并包含经过校准的概率,以帮助开发人员为自动化设置可靠的置信度阈值。

适用人群

该项目适用于需要自动化决策工作流(如工单路由、情感分析或策略执行)的开发人员和工程师,他们希望摆脱黑盒专有 API,转向可以自行托管、微调和审计的模型。

亮点

  • 提供四种模型尺寸(0.8B 到 27B),以平衡精度和硬件需求,适用于从笔记本电脑到数据中心 GPU 的各种环境。
  • 默认提供经过校准的概率,从而实现可靠的自动化决策阈值。
  • 与 TypeSafe System One API 完全兼容,可轻松从现有的专有设置迁移。
  • 支持长达 65,536 个 token 的长上下文文档。
  • 包含一个微调工作流,可以通过 Modal 上的编码代理自动执行,也可以使用标准脚本手动执行。
  • 可部署为 HTTPS 端点,在空闲时缩减至零以最大限度地降低成本。

相关

  • Dispatch
  • 项目
  • 项目
  • 项目
  • 项目