featherless-ai/simple-jev

해결하는 문제

Simple Jev를 사용하면 개발자는 별도의 분류기 헤드를 훈련하거나 자동 회귀 텍스트 생성의 예측 불가능성에 대응할 필요 없이 오픈소스 언어 모델을 구조화된 분류 및 점수 매기기용으로 사용할 수 있습니다. 모델의 다음 토큰 확률(로지트)에서 직접 결정을 추출함으로써, 서술문이나 JSON 완성본을 파싱할 필요가 없습니다.

작동 방식

모델이 응답을 생성하도록 요청하는 대신, Simple Jev는 프롬프트와 질문 세트를 전송합니다. 서버는 각 질문에 대해 허용된 답변 레이블에 대한 로지트를 읽습니다. 공통 접두사 실행 전략을 사용하여 공통 컨텍스트를 한 번만 처리하고, 단일 배치 내 여러 질문 접미사에 대해 그 KV 캐시를 재사용함으로써 중복 계산을 크게 줄입니다.

대상 사용자

Hugging Face에서 제공하는 오픈소스 모델을 사용하여 고객 메시지 라우팅, 기준에 따른 긴급도 평가, 진실성/지지 판단과 같은 빠르고 구조화된 결정이 필요한 애플리케이션을 개발하는 개발자들을 위한 것입니다.

주요 특징

• 로지트 기반 스코어링: 텍스트 생성을 피하고 다음 토큰 확률에서 답변을 추출하여 파싱 오류를 방지합니다.
• KV 캐시 재사용: 공통 컨텍스트를 한 번 처리하고 여러 질문에 재사용하여 입력 토큰 처리량을 줄입니다.
• 구조화된 질문 유형: choice (다중 선택), score (기준 기반 평가), noul (진실성/지지 판단)를 지원합니다.
• RFDT (Really Fancy Decision Training): 답변 토큰 로지트를 기반으로 교사-학생 증류를 사용해 특정 결정 작업에 대해 소형 모델을 훈련할 수 있는 도구를 포함합니다.