Clef 27B マルチモーダル意思決定モデルがOllama Cloudで利用可能に

Cloudflareが開発した27Bマルチモーダル意思決定モデル「Clef」が、Ollamaのクラウドで利用可能になり、ローカルでも実行できるようになりました。これにより、ユーザーはテキストと画像の入力をまたいだ高度な意思決定ロジックを実装できます。

Clefモデルの概要とアーキテクチャ

Clefは、定義された状態と型付き質問のスキーマを具体的な意思決定に変換するために設計された、専門的な意思決定モデルです。Qwen3.8-27Bベースモデルからファインチューニングされており、Apache 2.0ライセンスの下で配布されています。

マルチモーダルとワンパス処理

このモデルはマルチモーダル入力をサポートしており、テキスト、JSON、画像（フォーム、領収書、スクリーンショット、写真など）に基づいて意思決定を行うことができます。主要なアーキテクチャ上の特徴は「ワンパス」処理です。Clefは応答を単語ごとに順次生成するのではなく、入力全体を一度に読み取り、すべての質問に対するすべての回答を同時にスコアリングします。

パフォーマンスの主張

ClefはCloudflareのDecision Indexでトップであり、ベンチマークスイートの大半でJevを上回り、高精度な意思決定エンジンとして確立されています。

実用的なアプリケーションとユースケース

Clefは、構造化されたリスクの高い意思決定タスクを処理するように設計されており、開発者向けにいくつかの具体的なユースケースをサポートしています。

構造化された意思決定

  • リクエストのルーティング: Clefを使用して複数の宛先を定義し、どれが該当するかを判断し、選択された宛先と各オプションに関連する確率を返すことができます。
  • 条件のチェック: はい/いいえの質問を定義し、提供された証拠を評価して、その結果の確率とともに真または偽の判断を返すことをサポートします。
  • ポリシーの適用: 開発者は特定のルールと許可された結果を定義でき、Clefは提供されたテキストまたは画像に基づいて型付きの判断を返します。

データとエージェントの連携

  • ドキュメントの読み取り: Clefは、文書ページの写真を定義されたフィールドに対して評価し、確率付きのフィールドごとの判断を提供できます。
  • ツールコールのモデレーション: このモデルは、エージェントが提案したツールコールを実行前にチェックすることで、セーフティレイヤーとして機能します。

ベンチマークとパフォーマンス指標

Clefは、以下に詳述するように、さまざまな業界ベンチマークで強力なパフォーマンスを発揮します。

Jev Decision Indexの結果

Jev Decision Indexで評価された結果は、Jev、DiffusionGemma Jev、Kev 9Bなどのモデルに対するClefの競争力を示しています。主なパフォーマンスのハイライトは以下の通りです。

  • ToolRet · nDCG@10: Clefは69.19のスコアを達成し、比較でトップでした。
  • API-Bank · accuracy: Clefは91.93を記録し、Jevの88.19を上回りました。
  • BANKING77 · macro-F1: Clefは94.20を達成し、Jevの79.74を大幅に上回りました。
  • CLINC150+OOS · macro-F1: Clefは97.43を記録し、範囲外シナリオでの高いパフォーマンスを示しました。
ベンチマーク Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya
BFCL · case exact 98.47 98.76 95.75 96.52 94.51 38.13
ToolRet · nDCG@10 69.19 66.43 65.28 61.21 64.26 12.69
API-Bank · accuracy 91.93 93.11 88.19 83.66 56.30 11.41
Home appliances · case exact 82.95 97.73 52.27 42.05 25.00 0.00
When2Call · accuracy 72.37 65.58 80.97 75.44 49.62 11.94
BANKING77 · macro-F1 94.20 90.93 79.74 74.28 84.83 14.29
CLINC150+OOS · macro-F1 97.43 66.77 89.27 83.49 79.03 3.19
BRIGHT · nDCG@10 45.91 39.26 47.52 42.94 38.53 19.90
Amazon ESCI · macro-F1 57.48 57.39 55.21 53.37 49.22 24.40
PhishNChips · accuracy 79.60 75.05 62.55 85.35 50.75 50.15

ワークフロー評価結果

Typesafeの独自ワークフロー評価では、Clefはテストされた4つの領域のうち3つでJevを上回りました。

  • 請求書処理: Clefは64.7を達成し、Jevの61.8を上回りました。
  • セキュリティインシデント: Clefは62.9を達成し、Jevの61.7を上回りました。
  • カスタマーサービス: Clefは76.3を記録し、Clef-flashは77.0で、Jevの76.0をわずかにリードしました。

レイテンシ分析

43の評価ベンチマークにわたるレイテンシ測定は、運用速度に関する洞察を提供します。Clefは中央値209.3ミリ秒のレイテンシを示し、Clef-flashは中央値38.8ミリ秒を提供します。Clefのp95レイテンシは238.6ミリ秒です。

レイテンシ Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya
中央値 209.3 38.8 524.1 84.4 51.4 5.8
p95 238.6 122.4 536.0 211.2 187.9 222.5

ベンチマークとパフォーマンス指標

Clefは、以下に詳述するように、さまざまな業界ベンチマークで高いパフォーマンスを示しています。

Jev Decision Indexの結果

Jev Decision Indexで評価された結果、ClefはJev、DiffusionGemma Jev、Kev 9Bなどのモデルに対して競争力のある優位性を示しています。主なパフォーマンスのハイライトは以下の通りです。

  • ToolRet · nDCG@10: Clefは69.19のスコアを達成し、比較でトップでした。
  • API-Bank · accuracy: Clefは91.93を記録し、Jevの88.19を上回りました。
  • BANKING77 · macro-F1: Clefは94.20を達成し、Jevの79.74を大幅に上回りました。
  • CLINC150+OOS · macro-F1: Clefは97.43を記録し、範囲外シナリオでの高いパフォーマンスを示しました。
ベンチマーク Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya
BFCL · case exact 98.47 98.76 95.75 96.52 94.51 38.13
ToolRet · nDCG@10 69.19 66.43 65.28 61.21 64.26 12.69
API-Bank · accuracy 91.93 93.11 88.19 83.66 56.30 11.41
Home appliances · case exact 82.95 97.73 52.27 42.05 25.00 0.00
When2Call · accuracy 72.37 65.58 80.97 75.44 49.62 11.94
BANKING77 · macro-F1 94.20 90.93 79.74 74.28 84.83 14.29
CLINC150+OOS · macro-F1 97.43 66.77 89.27 83.49 79.03 3.19
BRIGHT · nDCG@10 45.91 39.26 47.52 42.94 38.53 19.90
Amazon ESCI · macro-F1 57.48 57.39 55.21 53.37 49.22 24.40
PhishNChips · accuracy 79.60 75.05 62.55 85.35 50.75 50.15

ワークフロー評価結果

Typesafeの独自ワークフロー評価では、Clefはテストされた4つの領域のうち3つでJevを上回りました：

  • 請求書処理: Clefは64.7を達成し、Jevの61.8を上回りました。
  • セキュリティインシデント: Clefは62.9を達成し、Jevの61.7を上回りました。
  • カスタマーサービス: Clefは76.3を記録し、Clef-flashは77.0で、Jevの76.0をわずかにリードしました。

レイテンシー分析

43の評価ベンチマークにわたるレイテンシー測定は、運用速度に関する洞察を提供します。Clefは中央値209.3ミリ秒のレイテンシを示し、Clef-flashは中央値38.8ミリ秒を提供します。Clefのp95レイテンシは238.6ミリ秒です。

レイテンシ Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya
中央値 209.3 38.8 524.1 84.4 51.4 5.8
p95 238.6 122.4 536.0 211.2 187.9 222.5

ベンチマークとパフォーマンス指標

Clefは、以下に詳述するように、さまざまな業界ベンチマークで高いパフォーマンスを示しています。

Jev Decision Indexの結果

Jev Decision Indexで評価された結果、ClefはJev、DiffusionGemma Jev、Kev 9Bなどのモデルに対して競争力があることが示されています。主なパフォーマンスのハイライトは以下の通りです。

  • ToolRet · nDCG@10: Clefは69.19のスコアを達成し、比較でトップでした。
  • API-Bank · accuracy: Clefは91.93を記録し、Jevの88.19を上回りました。
  • BANKING77 · macro-F1: Clefは94.20を達成し、Jevの79.74を大幅に上回りました。
  • CLINC150+OOS · macro-F1: Clefは97.43を記録し、範囲外シナリオでの高いパフォーマンスを示しました。
ベンチマーク Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya
BFCL · case exact 98.47 98.76 95.75 96.52 94.51 38.13
ToolRet · nDCG@10 69.19 66.43 65.28 61.21 64.26 12.69
API-Bank · accuracy 91.93 93.11 88.19 83.66 56.30 11.41
Home appliances · case exact 82.95 97.73 52.27 42.05 25.00 0.00
When2Call · accuracy 72.37 65.58 80.97 75.44 49.62 11.94
BANKING77 · macro-F1 94.20 90.93 79.74 74.28 84.83 14.29
CLINC150+OOS · macro-F1 97.43 66.77 89.27 83.49 79.03 3.19
BRIGHT · nDCG@10 45.91 39.26 47.52 42.94 38.53 19.90
Amazon ESCI · macro-F1 57.48 57.39 55.21 53.37 49.22 24.40
PhishNChips · accuracy 79.60 75.05 62.55 85.35 50.75 50.15

ワークフロー評価結果

Typesafe独自のワークフロー評価では、Clefはテストされた4つの領域のうち3つでJevを上回りました：

  • 請求書処理: Clefは64.7を達成し、Jevの61.8を上回りました。
  • セキュリティインシデント: Clefは62.9を達成し、Jevの61.7を上回りました。
  • カスタマーサービス: Clefは76.3を記録し、Clef-flashは77.0で、Jevの76.0をわずかに上回りました。

レイテンシ分析

43の評価ベンチマークにわたるレイテンシ測定は、運用速度に関する洞察を提供します。Clefの中央値レイテンシは209.3ミリ秒であるのに対し、Clef-flashの中央値レイテンシは38.8ミリ秒です。Clefのp95レイテンシは238.6ミリ秒です。

レイテンシ Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya
中央値 209.3 38.8 524.1 84.4 51.4 5.8
p95 238.6 122.4 536.0 211.2 187.9 222.5

SUMMARY: Cloudflareの27Bマルチモーダル意思決定モデル「Clef」が、テキストと画像を含む複雑な意思決定タスク向けにOllamaのクラウドで利用可能になりました。

TITLE: Clef 27B マルチモーダル意思決定モデルがOllama Cloudで利用可能に

Sources