featherless-ai/simple-jev

Turn any open model into a classifier/jev endpoint

해결하는 문제

Simple Jev를 사용하면 별도의 분류 헤드를 학습할 필요 없이 오픈 소스 언어 모델을 사용하여 구조화된 분류 및 점수 매기기를 수행할 수 있습니다. 모델이 텍스트나 JSON 응답을 토큰 단위로 생성하고 파싱할 필요가 없으므로 지연 시간이 줄어들고 출력이 항상 엄격한 스키마를 따르도록 보장합니다.

작동 방식

자기 회귀 생성 대신 모델의 다음 토큰 로짓(다음 가능한 토큰에 대한 원시 확률 점수)을 사용하여 답변을 결정합니다.

  1. 공유 컨텍스트: 서버는 공통 입력(상태 또는 채팅 기록)을 한 번 처리하고 KV 캐시를 저장합니다.
  2. 분기: 요청 내의 각 질문에 대해 별도의 점수 매기기 분기를 생성하고 공유 접두사를 재사용하여 중복 계산을 방지합니다.
  3. 로짓 점수 매기기: 서버는 허용된 특정 답변 레이블의 로짓을 읽고 이를 정규화하여 선택지, 루브릭 점수 또는 진위 판단이 포함된 JSON 응답을 구성합니다.

대상 사용자

LLM으로부터 빠르고 구조화된 의사 결정(라우팅, 긴급도 점수 매기기, 사실 확인 등)이 필요하며 JSON 생성/파싱의 오버헤드와 불안정성을 피하고자 하는 개발자.

주요 특징

  • 프리필 전용 점수 매기기: 다음 토큰 로짓을 사용하여 디코드 루프를 완전히 방지함으로써 토큰 처리 오버헤드를 크게 줄입니다.
  • 선택, 점수, Noul: 세 가지 고유한 질문 유형 지원: 객관식(최대 255개 옵션), 루브릭 기반 점수 매기기(최대 50개 레벨), 진위/지원 판단 (Noul).
  • KV 캐시 재사용: 단일 요청 내의 여러 질문에 걸쳐 공유 컨텍스트를 한 번 처리하여 성능을 최적화합니다.
  • 모델 비의존성: Qwen, Gemma, LLaVA 계열 비전 모델을 포함하여 Hugging Face의 다양한 오픈 모델과 호환됩니다.
  • 평가 도구: 프롬프트 검색 및 정확도 벤치마킹을 위한 프레임워크 (JevBench)가 포함되어 있습니다.

관련

  • Dispatch
  • 프로젝트
  • Dispatch
  • 프로젝트