feder-cr/jev

해결하는 문제

Jev는 고속 로컬 의사결정을 위해 설계되었습니다. 사용자는 텍스트와 일련의 질문(예/아니오, 객관식, 점수 매기기)을 보내고 클라우드 서비스나 고가의 GPU에 의존하지 않고 즉시 각 답변의 확률을 받을 수 있습니다.

작동 방식

이 프로젝트는 노트북 CPU에서 실행되는 단일 바이너리를 제공합니다. 최적화된 모델(OpenVINO int8 또는 GGUF 형식으로 제공)을 사용하여 텍스트를 처리하고 답변을 반환합니다. HTTP 서버를 통해 TypeSafe Jev API를 노출하며, 단일 텍스트에 대해 여러 질문을 한 번의 요청으로 처리하여 처리 시간을 최소화합니다.

대상 사용자

데이터를 로컬에 유지하고 토큰당 비용을 피하면서 빠르고 자동화된 분류 또는 의사결정 로직을 애플리케이션에 통합해야 하는 개발자.

주요 특징

• CPU 최적화: 표준 노트북 CPU에서 실행되며 응답 시간은 28ms에서 130ms 사이입니다.
• 제로 의존성: 런타임에 Python이 필요 없는 단일 바이너리로 배포됩니다.
• 다중 질문 요청: 동일한 텍스트에 대해 여러 가지 다른 질문(예: 감정 분석, 라우팅, 정책 확인)을 한 번의 패스로 처리할 수 있습니다.
• 로컬 및 무료: 기기에서 완전히 작동하므로 클라우드 비용과 개인정보 보호 문제를 제거합니다.
• 대규모 컨텍스트: 최대 8,192 토큰의 컨텍스트 윈도우를 지원합니다.