Mapika/decider

A family of System One-style models fine-tuned from Qwen3.5, designed for one-pass typed decisions with calibrated probabilities.

解决的问题

传统语言模型生成自由形式的文本。当您需要在固定选项集中做出决策(如路由工单、分类意图或回答是/否)时,通常必须解析生成的文本,这容易出错且置信度校准不佳。decider 完全摒弃了文本生成:它读取状态和一组类型化问题,并在单次前向传播中为每个问题返回允许选项上的概率分布。无需解码、无需解析、不会输出您定义选项之外的内容。

工作原理

模型接收一个状态(上下文或输入)和一组类型化问题。每个问题都有固定的答案集:选择(2 到 255 个选项)、评分(2 到 10 个描述级别)或是否(是的概率)。单次前向传播为每个问题生成一个分布。模型在公共数据集和来自本地 Qwen3.5-27B 模型的教师标注数据的混合上训练,该项目是“System One”模型类(如 TypeSafe AI 的 Jev)的独立开源复现,未从 Jev 进行蒸馏。该包提供带有 decide 方法的 Decider 类、HTTP 服务器(decider.serve)、用于 llama.cpp 的 GGUF 加载,以及与 vLLM 的集成以支持大规模服务。多种模型尺寸(0.8B、2B、4B、12B、31B、35B)和变体(部分处理图像)已在 Hugging Face 上发布,每种都有可配置的按类型温度和可选检查点。

适用人群

需要从语言模型获得快速、校准决策的开发者和研究人员——用于路由、分类、评估、游戏(如 Tetris 和 Pong 演示所示),或任何希望每个选项有概率而不生成文本的应用。该项目可在 CPU、Apple Silicon(MPS)、CUDA GPU、llama.cpp(GGUF)甚至通过社区移植在 Snapdragon X Elite NPU 上运行,因此适用于从笔记本电脑到数据中心 GPU 的各种环境。

亮点

  • 单次通过的类型化决策,具有校准概率——无需文本生成、无需解析。
  • 从 0.8B 到 35B 参数的模型,包括用于基于图像决策的视觉-语言变体。
  • 强大的排行榜表现:decider-4b v2 在 JevBench 上排名第 7,decider-chat-gemma4-31b 在 Decision Index 上排名第 2。
  • 灵活部署:CPU、MPS、CUDA、通过 llama.cpp 的 GGUF、vLLM,甚至通过社区贡献支持 NPU。
  • System One 模型类的独立开源复现,训练代码和数据混合公开可用。

相关

  • Dispatch
  • 项目
  • 项目
  • Dispatch
  • Dispatch