TheoLeeCJ/SemIf-OpenJev

해결하는 문제

SemIf는 전체 텍스트 응답을 생성하는 오버헤드 없이 오픈소스 LLM을 사용하여 빠르고 타입 지정된 결정을 내릴 수 있는 방법을 제공합니다. 소프트웨어가 문장이나 JSON 객체를 파싱해야 하는 과정을 제거함으로써, 요청 라우팅이나 작업 재시도와 같이 결정이 작은 에이전트 워크플로우에서 지연을 크게 줄일 수 있습니다.

작동 방식

자기 회귀적으로 토큰을 샘플링하는 대신 SemIf는 모델의 출력층에서 특정 타입 지정 옵션의 확률(로지트)을 단일 포워드 패스로 직접 읽어옵니다.

주요 기술적 특징:

• 런타임 정의된 기준: 결정 기준과 옵션은 요청과 함께 제공됩니다.
• 공유 상태 인식: 긴 컨텍스트(상태)를 한 번만 사전 로드한 후 병렬로 여러 다른 결정 기준으로 분기 처리할 수 있어 처리량이 크게 증가합니다.
• 다중 백엔드 지원: PyTorch, Apple Silicon(MLX/MPS), 그리고 llama.cpp를 통한 CPU 전용 실행을 지원합니다.
• 온도 보정: 각 워크로드에 맞춘 온도 스케일링을 포함하여 모델의 신뢰도(확률)가 실제 정확도와 일치하도록 합니다.

대상 사용자

구조화된 옵션에 기반하여 고속, 신뢰성 있고 감사 가능한 의미적 결정이 필요한 AI 에이전트나 자동화 워크플로우를 개발하는 개발자들.

주요 특징

• 고속성: 컴팩트한 JSON 배열 생성보다 직접 로지트를 읽는 방식이 최대 5.21배 빠릅니다.
• 오픈소스 대안: Jev와 같은 폐쇄형 서비스의 인터페이스 패턴을 재현합니다.
• 효율적인 상태 재사용: 시리얼 프리픽스 재사용과 병렬 서픽스 처리를 지원하여 동일한 상태에서 여러 결정을 효율적으로 처리할 수 있습니다.
• 브라우저 호환: 대기 목록 없이 즉시 테스트 가능한 WebGPU 데모를 포함합니다.