Clef 27B 멀티모달 의사결정 모델, Ollama Cloud에서 제공

Cloudflare가 개발한 27B 멀티모달 의사결정 모델인 Clef가 이제 Ollama의 클라우드에서 제공되며 로컬에서도 실행할 수 있어, 사용자는 텍스트와 이미지 입력 전반에 걸쳐 정교한 의사결정 로직을 구현할 수 있습니다.

Clef 모델 개요 및 아키텍처

Clef는 정의된 상태와 유형화된 질문 스키마를 구체적인 결정으로 변환하도록 설계된 특수 의사결정 모델입니다. Qwen3.8-27B 기본 모델에서 파인튜닝되었으며 Apache 2.0 라이선스로 배포됩니다.

멀티모달 및 단일 패스 처리

이 모델은 멀티모달 입력을 지원하여 텍스트, JSON 또는 이미지(양식, 영수증, 스크린샷, 사진 포함)를 기반으로 결정을 내릴 수 있습니다. 주요 아키텍처 특징은 '단일 패스(single pass)' 처리입니다. Clef는 응답을 단어별로 순차적으로 생성하는 대신 전체 입력을 한 번에 읽고 모든 질문에 대한 모든 답변을 동시에 점수화합니다.

성능 주장

Clef는 Cloudflare의 Decision Index에서 선두를 달리고 있으며 대부분의 벤치마크 제품군에서 Jev를 능가하여 고정밀 의사결정 엔진으로 자리매김했다고 보고됩니다.

실제 적용 및 사용 사례

Clef는 구조화된 고위험 의사결정 작업을 처리하도록 설계되었으며 개발자를 위한 몇 가지 특정 사용 사례를 지원합니다:

구조화된 의사결정

  • 요청 라우팅: Clef를 사용하여 여러 대상을 정의하고 어떤 대상이 적용되는지 결정할 수 있으며, 선택된 대상과 각 옵션에 연결된 확률을 반환합니다.
  • 조건 확인: 예/아니오 질문을 정의하고 제공된 증거를 평가하여 해당 결과의 확률과 함께 참 또는 거짓 결정을 반환합니다.
  • 정책 적용: 개발자는 특정 규칙과 허용된 결과를 정의할 수 있으며, Clef는 제공된 텍스트나 이미지를 기반으로 유형화된 결정을 반환합니다.

데이터 및 에이전트 상호작용

  • 문서 읽기: Clef는 문서 페이지 사진을 정의된 필드와 대조하여 평가하고, 각 필드에 대한 결정을 확률과 함께 제공할 수 있습니다.
  • 도구 호출 중재: 이 모델은 에이전트가 제안한 도구 호출을 실행 전에 확인하는 안전 계층 역할을 할 수 있습니다.

벤치마킹 및 성능 지표

Clef는 아래에 자세히 설명된 대로 다양한 산업 벤치마크에서 강력한 성능을 보여줍니다.

Jev Decision Index 결과

Jev Decision Index에서 평가된 결과는 Clef가 Jev, DiffusionGemma Jev, Kev 9B와 같은 모델보다 경쟁력 있는 우위를 보여줍니다. 주요 성능 하이라이트는 다음과 같습니다:

  • ToolRet · nDCG@10: Clef는 69.19점을 기록하며 비교에서 선두를 차지했습니다.
  • API-Bank · accuracy: Clef는 91.93점을 기록하여 Jev의 88.19점을 능가했습니다.
  • BANKING77 · macro-F1: Clef는 94.20을 달성하여 Jev의 79.74보다 훨씬 높습니다.
  • CLINC150+OOS · macro-F1: Clef는 97.43점을 기록하여 범위 외 시나리오에서 높은 성능을 보여주었습니다.
벤치마크 Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya
BFCL · case exact 98.47 98.76 95.75 96.52 94.51 38.13
ToolRet · nDCG@10 69.19 66.43 65.28 61.21 64.26 12.69
API-Bank · accuracy 91.93 93.11 88.19 83.66 56.30 11.41
Home appliances · case exact 82.95 97.73 52.27 42.05 25.00 0.00
When2Call · accuracy 72.37 65.58 80.97 75.44 49.62 11.94
BANKING77 · macro-F1 94.20 90.93 79.74 74.28 84.83 14.29
CLINC150+OOS · macro-F1 97.43 66.77 89.27 83.49 79.03 3.19
BRIGHT · nDCG@10 45.91 39.26 47.52 42.94 38.53 19.90
Amazon ESCI · macro-F1 57.48 57.39 55.21 53.37 49.22 24.40
PhishNChips · accuracy 79.60 75.05 62.55 85.35 50.75 50.15

워크플로 평가 결과

Typesafe의 독점 워크플로 평가에서 Clef는 테스트된 4개 영역 중 3개에서 Jev를 능가합니다:

  • 인보이스 처리: Clef는 64.7을 달성했으며, Jev는 61.8입니다.
  • 보안 인시던트: Clef는 62.9를 달성했으며, Jev는 61.7입니다.
  • 고객 서비스: Clef는 76.3점을 기록했으며, Clef-flash는 77.0점으로 Jev의 76.0점을 근소하게 앞섰습니다.

지연 시간 분석

43개 평가 벤치마크에 걸친 지연 시간 측정은 운영 속도에 대한 통찰력을 제공합니다. Clef는 중앙값 지연 시간 209.3밀리초를 보여주며, Clef-flash는 중앙값 38.8밀리초를 제공합니다. Clef의 p95 지연 시간은 238.6밀리초입니다.

지연 시간 Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya
중앙값 209.3 38.8 524.1 84.4 51.4 5.8
p95 238.6 122.4 536.0 211.2 187.9 222.5

벤치마크 및 성능 지표

Clef는 아래에 자세히 설명된 대로 다양한 산업 벤치마크에서 강력한 성능을 보여줍니다.

Jev Decision Index 결과

Jev Decision Index에서 평가된 결과는 Clef가 Jev, DiffusionGemma Jev, Kev 9B와 같은 모델 대비 경쟁력 있는 우위를 보여줍니다. 주요 성능 하이라이트는 다음과 같습니다:

  • ToolRet · nDCG@10: Clef는 69.19점을 기록하며 비교에서 선두를 차지했습니다.
  • API-Bank · accuracy: Clef는 91.93점을 기록하며 Jev의 88.19점을 능가했습니다.
  • BANKING77 · macro-F1: Clef는 94.20을 달성하여 Jev의 79.74보다 크게 높았습니다.
  • CLINC150+OOS · macro-F1: Clef는 97.43점을 기록하여 범위 외 시나리오에서 높은 성능을 입증했습니다.
벤치마크 Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya
BFCL · case exact 98.47 98.76 95.75 96.52 94.51 38.13
ToolRet · nDCG@10 69.19 66.43 65.28 61.21 64.26 12.69
API-Bank · accuracy 91.93 93.11 88.19 83.66 56.30 11.41
Home appliances · case exact 82.95 97.73 52.27 42.05 25.00 0.00
When2Call · accuracy 72.37 65.58 80.97 75.44 49.62 11.94
BANKING77 · macro-F1 94.20 90.93 79.74 74.28 84.83 14.29
CLINC150+OOS · macro-F1 97.43 66.77 89.27 83.49 79.03 3.19
BRIGHT · nDCG@10 45.91 39.26 47.52 42.94 38.53 19.90
Amazon ESCI · macro-F1 57.48 57.39 55.21 53.37 49.22 24.40
PhishNChips · accuracy 79.60 75.05 62.55 85.35 50.75 50.15

워크플로 평가 결과

Typesafe의 독점 워크플로 평가에서 Clef는 테스트된 4개 영역 중 3개에서 Jev를 능가합니다:

  • 송장 처리: Clef는 64.7을 기록하여 Jev의 61.8을 능가했습니다.
  • 보안 인시던트: Clef는 62.9를 기록하여 Jev의 61.7을 능가했습니다.
  • 고객 서비스: Clef는 76.3점을 기록했으며, Clef-flash는 77.0점으로 Jev의 76.0점을 근소하게 앞섰습니다.

지연 시간 분석

43개 평가 벤치마크에서의 지연 시간 측정은 운영 속도에 대한 통찰력을 제공합니다. Clef는 중앙값 지연 시간 209.3밀리초를 보여주며, Clef-flash는 중앙값 38.8밀리초를 제공합니다. Clef의 p95 지연 시간은 238.6밀리초입니다.

지연 시간 Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya
중앙값 209.3 38.8 524.1 84.4 51.4 5.8
p95 238.6 122.4 536.0 211.2 187.9 222.5

벤치마크 및 성능 지표

Clef는 아래에 자세히 설명된 대로 다양한 산업 벤치마크에서 강력한 성능을 보여줍니다.

Jev Decision Index 결과

Jev Decision Index에서 평가된 결과는 Clef가 Jev, DiffusionGemma Jev, Kev 9B와 같은 모델 대비 경쟁력 있는 우위를 보여줍니다. 주요 성능 하이라이트는 다음과 같습니다:

  • ToolRet · nDCG@10: Clef는 69.19점을 기록하며 비교에서 선두를 차지했습니다.
  • API-Bank · accuracy: Clef는 91.93점을 기록하며 Jev의 88.19점을 능가했습니다.
  • BANKING77 · macro-F1: Clef는 94.20을 달성하여 Jev의 79.74보다 크게 높았습니다.
  • CLINC150+OOS · macro-F1: Clef는 97.43점을 기록하여 범위 외 시나리오에서 높은 성능을 입증했습니다.
벤치마크 Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya
BFCL · case exact 98.47 98.76 95.75 96.52 94.51 38.13
ToolRet · nDCG@10 69.19 66.43 65.28 61.21 64.26 12.69
API-Bank · accuracy 91.93 93.11 88.19 83.66 56.30 11.41
Home appliances · case exact 82.95 97.73 52.27 42.05 25.00 0.00
When2Call · accuracy 72.37 65.58 80.97 75.44 49.62 11.94
BANKING77 · macro-F1 94.20 90.93 79.74 74.28 84.83 14.29
CLINC150+OOS · macro-F1 97.43 66.77 89.27 83.49 79.03 3.19
BRIGHT · nDCG@10 45.91 39.26 47.52 42.94 38.53 19.90
Amazon ESCI · macro-F1 57.48 57.39 55.21 53.37 49.22 24.40
PhishNChips · accuracy 79.60 75.05 62.55 85.35 50.75 50.15

워크플로 평가 결과

Typesafe의 독점 워크플로 평가에서 Clef는 테스트된 4개 영역 중 3개에서 Jev를 능가합니다:

  • 인보이스 처리: Clef는 64.7을 달성했으며, Jev의 61.8과 비교됩니다.
  • 보안 인시던트: Clef는 62.9를 달성했으며, Jev의 61.7과 비교됩니다.
  • 고객 서비스: Clef는 76.3점을 기록했으며, Clef-flash는 77.0점으로 Jev의 76.0점을 근소하게 앞섰습니다.

지연 시간 분석

43개 평가 벤치마크에 걸친 지연 시간 측정은 운영 속도에 대한 통찰력을 제공합니다. Clef는 중앙값 지연 시간 209.3밀리초를 보여주며, Clef-flash는 중앙값 38.8밀리초를 제공합니다. Clef의 p95 지연 시간은 238.6밀리초입니다.

지연 시간 Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya
중앙값 209.3 38.8 524.1 84.4 51.4 5.8
p95 238.6 122.4 536.0 211.2 187.9 222.5

SUMMARY: Cloudflare의 27B 멀티모달 의사결정 모델인 Clef가 이제 Ollama의 클라우드에서 제공되며, 텍스트와 이미지를 포함한 복잡한 의사결정 작업을 지원합니다.

TITLE: Clef 27B 멀티모달 의사결정 모델, Ollama Cloud에서 제공

Sources