Clef 27B 多模态决策模型现已登陆 Ollama Cloud

Clef 是 Cloudflare 开发的一款 27B 多模态决策模型，现已可在 Ollama 的云端使用，并且可以本地运行，使用户能够在文本和图像输入中实现复杂的决策逻辑。

Clef 模型概述与架构

Clef 是一款专用决策模型，旨在将定义的状态和类型化问题模式转换为具体决策。它基于 Qwen3.8-27B 基础模型进行微调，并采用 Apache 2.0 许可证分发。

多模态与单次处理

该模型支持多模态输入，能够基于文本、JSON 或图像（包括表单、收据、截图和照片）做出决策。其一个关键架构特性是“单次”处理；Clef 并非逐字顺序生成响应，而是读取整个输入一次，并同时为每个问题的每个答案打分。

性能声明

据报道，Clef 在 Cloudflare 的决策指数中领先，并在大多数基准测试套件上优于 Jev，确立了其作为高精度决策引擎的地位。

实际应用与使用场景

Clef 旨在处理结构化、高风险的决策任务，为开发者支持以下几种具体使用场景：

结构化决策

  • 路由请求： Clef 可用于定义多个目的地并确定哪个适用，返回所选目的地以及每个选项相关的概率。
  • 检查条件： 它支持定义一个是/否问题并评估提供的证据，返回真或假的决策以及该结果的概率。
  • 应用策略： 开发者可以定义特定规则和允许的结果，使 Clef 能够基于提供的文本或图像返回类型化决策。

数据与智能体交互

  • 阅读文档： Clef 可以针对定义的字段评估文档页面的照片，提供逐字段的决策并附带概率。
  • 工具调用审核： 该模型可以作为安全层，在智能体的提议工具调用执行前进行检查。

基准测试与性能指标

Clef 在各种行业基准测试中表现出强劲性能，详见下文。

Jev 决策指数结果

在 Jev 决策指数上的评估显示，Clef 相对于 Jev、DiffusionGemma Jev 和 Kev 9B 等模型的竞争优势。关键性能亮点包括：

  • ToolRet · nDCG@10： Clef 得分 69.19，领先于对比模型。
  • API-Bank · 准确率： Clef 得分 91.93，超过 Jev 的 88.19。
  • BANKING77 · 宏 F1： Clef 得分 94.20，显著高于 Jev 的 79.74。
  • CLINC150+OOS · 宏 F1： Clef 得分 97.43，在越界场景中展现出高性能。
基准测试 Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya
BFCL · 案例精确匹配 98.47 98.76 95.75 96.52 94.51 38.13
ToolRet · nDCG@10 69.19 66.43 65.28 61.21 64.26 12.69
API-Bank · 准确率 91.93 93.11 88.19 83.66 56.30 11.41
家用电器 · 案例精确匹配 82.95 97.73 52.27 42.05 25.00 0.00
When2Call · 准确率 72.37 65.58 80.97 75.44 49.62 11.94
BANKING77 · 宏 F1 94.20 90.93 79.74 74.28 84.83 14.29
CLINC150+OOS · 宏 F1 97.43 66.77 89.27 83.49 79.03 3.19
BRIGHT · nDCG@10 45.91 39.26 47.52 42.94 38.53 19.90
Amazon ESCI · 宏 F1 57.48 57.39 55.21 53.37 49.22 24.40
PhishNChips · 准确率 79.60 75.05 62.55 85.35 50.75 50.15

工作流评估结果

在 Typesafe 专有的工作流评估中，Clef 在四个测试领域中的三个优于 Jev：

  • 发票处理： Clef 得分 64.7，而 Jev 为 61.8。
  • 安全事件： Clef 得分 62.9，而 Jev 为 61.7。
  • 客户服务： Clef 得分 76.3，而 Clef-flash 得分 77.0，略微领先于 Jev 的 76.0。

延迟分析

在 43 个评估基准测试中的延迟测量提供了操作速度的洞察。Clef 的中位延迟为 209.3 毫秒，而 Clef-flash 的中位延迟为 38.8 毫秒。Clef 的 p95 延迟为 238.6 毫秒。

延迟 Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya
中位数 209.3 38.8 524.1 84.4 51.4 5.8
p95 238.6 122.4 536.0 211.2 187.9 222.5

Sources