jaredpalmer/kev

Jev-like family of decision models built on top of Qwen3.5/3.8 you can train and run on your own

해결하는 문제

Kev는 분류, 점수 매기기, 예/아니오 의사 결정과 같은 구조화된 작업을 처리하도록 설계된 소규모 전문 의사 결정 모델 제품군을 제공합니다. 이는 독점 의사 결정 모델 API에 대한 오픈 소스 대안으로 작동하며, 개발자가 로컬 또는 자체 인프라에서 고정밀의 보정된 의사 결정 로직을 실행할 수 있도록 합니다.

작동 방식

Kev 모델은 Qwen 기본 모델을 기반으로 구축되었으며 특정 의사 결정 작업에 최적화되어 있습니다. 텍스트 입력("상태")과 일련의 질문을 받아 관련 확률이 포함된 구조화된 답변을 반환합니다. 이 모델들은 기존 TypeSafe SDK와 드롭인 방식으로 호환되도록 설계되었습니다. 특정 도메인 요구 사항에 맞게 사용자 지정 데이터 세트에서 미세 조정(fine-tuning)을 지원하며, 개발자가 자동화를 위한 신뢰할 수 있는 신뢰도 임계값을 설정할 수 있도록 보정된 확률을 포함합니다.

대상 사용자

이 프로젝트는 티켓 라우팅, 감정 분석, 정책 시행과 같은 의사 결정 워크플로우를 자동화해야 하며, 블랙박스 형태의 독점 API에서 벗어나 직접 호스팅, 미세 조정 및 감사할 수 있는 모델을 원하는 개발자와 엔지니어를 위한 것입니다.

주요 특징

  • 4가지 모델 크기(0.8B ~ 27B)를 제공하여 노트북부터 데이터 센터 GPU까지 정확도와 하드웨어 요구 사항 간의 균형을 맞출 수 있습니다.
  • 기본적으로 보정된 확률을 제공하여 신뢰할 수 있는 자동 의사 결정 임계값을 설정할 수 있습니다.
  • TypeSafe System One API와 완벽하게 호환되어 기존 독점 설정에서 쉽게 마이그레이션할 수 있습니다.
  • 최대 65,536 토큰의 긴 문맥 문서를 지원합니다.
  • Modal의 코딩 에이전트를 통해 자동화하거나 표준 스크립트로 수동 수행할 수 있는 미세 조정 워크플로우가 포함되어 있습니다.
  • 유휴 상태일 때 0으로 확장되는 HTTPS 엔드포인트로 배포할 수 있어 비용을 최소화합니다.

관련

  • Dispatch
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트