PostHog/jeeves

解决的问题

Jeeves 解决了“Jev 风格”决策模型的局限性。这类模型常用于校准分类任务，但往往准确率较低。通过在做出最终决策前加入推理步骤，Jeeves 在处理复杂任务和域外数据时，性能优于 Jev 和 Kev 等现有模型。

工作原理

Jeeves 是一个基于 Qwen3.5 的 9B 参数模型，结合了监督微调 (SFT) 和 CISPO（一种用于扩展测试时计算的训练方法）。它使用“指针头”根据最终决策前生成的推理链对选项进行评分。该系统包含一个基于扩散的“起草器”以加速推理，并支持 FP8 量化，从而降低 NVIDIA GPU 和 Apple Silicon 上的内存占用。

适用对象

本项目适用于需要高性能、校准决策引擎来执行分类任务（例如客户支持工单分类或情感评分），并希望通过测试时推理来提高准确性的开发人员和研究人员。

主要亮点

• 在 JevBench 和各种留出测试数据集上表现优于 Jev 和 Kev-9B。
• 支持在单个请求中处理多种问题类型，包括是非题、多选题和评分题。
• 包含一个与现有 Jev 风格实现兼容的即插即用 Python SDK。
• 具有基于扩散的起草器，可显著加快推理速度。
• 提供完整的训练、评估和导出流水线，包括对 FP8 精度的支持。