logan-markewich/jeff

해결하는 문제

독점적인 TypeSafe Jev System One API에 대한 자체 호스팅, 비용 효율적인 대안을 제공합니다. 개발자는 공식 TypeSafe SDK와 호환되는 로컬 또는 클라우드 배포 모델을 사용하여 톤, 긴급성 또는 이진 예/아니오 레이블과 같은 분류 작업을 수행할 수 있습니다.

작동 방식

GLiFormer(400M 매개변수) 모델을 사용하여 텍스트 입력을 처리하고 구조화된 분류 질문에 답변합니다. 이 프로젝트에는 Jev API를 모방한 FastAPI 기반 서버가 포함되어 있어 사용자가 공식 엔드포인트를 자신의 인스턴스로 교체할 수 있습니다. 여러 백엔드(PyTorch 또는 ONNX), 하드웨어 가속(CUDA, MPS, CPU)을 지원하며 Modal과 같은 플랫폼에 쉽게 배포할 수 있습니다.

대상 사용자

TypeSafe 스타일 분류를 애플리케이션에 통합하려는 개발자로서 비용을 절감하고 데이터 프라이버시를 유지하거나 타사 호스팅 API에 대한 의존을 피하려는 개발자.

주요 기능

• 공식 typesafe-sdk와 호환되어 드롭인 교체가 가능합니다.
• choice, score 및 noul(예/아니오 확률) 분류 유형을 지원합니다.
• GPU(L4) 또는 CPU 배포에 최적화되어 있으며 높은 요청 처리량을 처리하기 위한 배치 처리를 지원합니다.
• 모델 정밀도, 속도 제한 및 하드웨어별 최적화에 대한 포괄적인 구성을 포함합니다.