razorback16/openjev

해결하는 문제

OpenJev는 오픈소스 AI 모델로부터 타입이 지정된 결정(예/아니오, 다중 선택, 수치 점수)을 빠르고 캘리브레이션된 방식으로 제공합니다. 기존의 LLM이 텍스트를 생성한 후 이를 파싱해야 하는 것과 달리, OpenJev는 모델의 출력 분포에서 확률을 직접 읽어내어 답변이 항상 엄격한 스키마를 따르고 "스키마 외로 벗어나는" 일이 없도록 보장합니다.

작동 방식

OpenJev는 주로 DiffusionGemma와 같은 이산 확산 모델을 사용합니다. 왼쪽에서 오른쪽으로 토큰을 하나씩 생성하는 방식이 아니라, 답변 슬롯만 마스크된 "캔버스"에 대해 읽기 전용으로 노이즈 제거를 수행합니다. 해당 슬롯 내의 레이블(예: "yes"/"no" 또는 "A"/"B")에 대한 모델의 확률 분포가 바로 답변이 됩니다.

또한 Laya와 Verdict과 같은 작은 양방향 인코더 모델도 지원하며, 단일 순전파에서 분류 헤드를 통해 선택지에 대한 확률 분포를 제공합니다.

대상 사용자

텍스트 파싱에 따른 지연이나 신뢰성 문제 없이, 빠르고 구조화된 결정(예: 고객의 의도 분류, 긴급도 판단, 감성 점수 매기기 등)이 필요한 개발자들을 위한 것입니다.

주요 특징

• 엄격한 타입 출력: noul (예/아니오), choice (다중 선택), score (수치 수준)를 지원합니다.
• 고성능: 짧은 상태에 대해 수십 밀리초 내에 답변을 반환합니다.
• 캘리브레이션된 신뢰도: 모델 자체의 확률 분포에 기반한 신뢰도 점수를 제공하며, 자가 보고된 수치가 아닙니다.
• 다중 모달 지원: 텍스트와 이미지 모두를 처리하여 결정을 내릴 수 있습니다.
• 유연한 배포: NVIDIA GPU에서 vLLM을 통해 또는 Apple silicon에서 MLX를 통해 실행 가능합니다.