PostHog/jeeves

해결 과제

Jeeves는 보정된 분류 작업에 자주 사용되지만 정확도가 낮은 'Jev 스타일' 의사결정 모델의 한계를 해결합니다. 최종 결정을 내리기 전에 추론 단계를 통합함으로써, Jeeves는 Jev나 Kev와 같은 기존 모델에 비해 복잡한 작업 및 도메인 외부 데이터에서 더 나은 성능을 제공합니다.

작동 원리

Jeeves는 Qwen3.5를 기반으로 하는 9B 파라미터 모델로, 지도 미세 조정(SFT)과 CISPO(테스트 시점 계산을 확장하기 위한 학습 방법)를 결합하여 사용합니다. 최종 결정 전에 생성된 추론 체인을 기반으로 옵션의 점수를 매기는 '포인터 헤드'를 사용합니다. 이 시스템에는 추론 속도를 높이기 위한 확산 기반의 '드래프터'가 포함되어 있으며, NVIDIA GPU와 Apple Silicon 모두에서 메모리 사용량을 줄이기 위해 FP8 양자화를 지원합니다.

대상 사용자

이 프로젝트는 분류 작업(예: 고객 지원 티켓 분류 또는 감정 점수 매기기)을 위한 고성능의 보정된 의사결정 엔진이 필요하고, 정확도를 높이기 위해 테스트 시점 추론을 실험하고자 하는 개발자와 연구자를 위한 것입니다.

주요 특징

• JevBench 및 다양한 홀드아웃 테스트 데이터셋에서 Jev 및 Kev-9B보다 뛰어난 성능을 발휘합니다.
• 단일 요청 내에서 예/아니오, 객관식, 점수 매기기 등 여러 질문 유형을 지원합니다.
• 기존 Jev 스타일 구현과 호환되는 드롭인 Python SDK를 포함합니다.
• 추론 속도를 크게 가속화하는 확산 기반 드래프터를 갖추고 있습니다.
• FP8 정밀도 지원을 포함하여 전체 학습, 평가 및 내보내기 파이프라인을 제공합니다.