jaredpalmer/kev

해결하는 문제

kev는 분류 및 점수 매기기 작업에서 전통적인 텍스트 생성을 대체하기 위해 설계된 의사결정 모델입니다. 서사적 텍스트를 생성하는 대신(이것은 느리고 일관성 없을 수 있음), 특정 질문 유형에 대한 보정된 확률을 제공하여 단일 문서에서 더 빠르고 신뢰할 수 있으며 구조화된 의사결정이 가능합니다.

작동 방식

이 프로젝트는 0.5B에서 8B 파라미터까지의 Qwen 기반 모델에 LoRA 어댑터와 사용자 정의 포인터 리드아웃 헤드를 사용합니다. 모델은 디코딩 없이 단일 "프리필" 패스에서 문서와 여러 질문을 처리합니다.

주요 기술적 메커니즘은 다음과 같습니다:

• 블록-인과 마스킹: 모든 질문이 문서를 볼 수 있지만, 질문 간에 서로를 보지 못하게 하여 엄격한 격리를 보장합니다.
• 패킹: 상태(문서)와 모든 질문을 하나의 시퀀스로 패킹하여 모델이 여러 질문을 병렬로 답변할 수 있습니다.
• 포인터 리드아웃: 전용 헤드가 옵션 토큰을 결정 토큰과 비교하고 소프트맥스를 적용하여 텍스트가 아닌 확률을 출력합니다.
• 학습: 레이블된 결과에 대해 교차 엔트로피를 사용하여 학습하여 출력 확률이 학습되고 보정되도록 합니다.

대상 사용자

로컬 노트북에서 실행되거나 클라우드에서 학습 가능한 고성능, 구조화된 의사결정 API(TypeSafe의 System One 계약과 호환)가 필요한 개발자 및 연구자에게 적합합니다.

주요 특징

• 세 가지 질문 유형: noul(예/아니요), choice(다수 선택), score(순서 있는 레벨)를 지원합니다.
• 고효율성: 디코딩 없이 1회 포워드 패스로 여러 질문에 답변하여 지연 시간을 크게 줄입니다.
• 엄격한 격리: 한 질문의 답변이 다른 질문에 영향을 주지 않음을 보장합니다.
• 즉시 사용 가능한 API: typesafe-sdk와 호환되어 기존 워크플로에 쉽게 통합할 수 있습니다.
• 하드웨어 유연성: 작은 모델(0.5B)은 맥에서 학습 가능하며, 더 큰 모델(4B/8B)은 bf16로 32GB 맥에서 실행 가능합니다.