Heman10x-NGU/openJev-verdict-2.0

Calibrated 151M Non-Autoregressive Decision Engine beating TypeSafe Jev & Laya on LocalLLaMA/typed-decisions (77.10% acc, 0.0636 Brier, 0.0144 ECE)

해결하는 문제

openJev-verdict-2.0은 결정론적 소프트웨어 워크플로우에 AI를 통합하는 문제를 해결합니다. 대규모 언어 모델은 코드가 안정적으로 구문 분석하기 어려운 비정형 텍스트를 생성하는 경우가 많습니다. 이 프로젝트는 입력된 스키마(선택지나 점수 등)를 비자기회귀 방식으로 평가하는 판단 엔진을 제공하여, 소프트웨어가 비즈니스 로직을 제어하면서 정확하고 보정된 의미론적 분류를 받을 수 있게 합니다.

작동 방식

이 엔진은 ModernBERT-base 기반의 1억 4960만 파라미터 모델을 사용합니다. 단일 정방향 패스로 판단을 처리하며 20~25ms가 소요됩니다. 이중 채널 보정 시스템을 갖추고 있습니다. 하나의 채널은 분포 로직(판단 자체)을 처리하고, 두 번째 전용 신뢰도 헤드는 매우 정확한 확률 추정을 제공합니다. 이를 통해 개발자는 임계값을 설정하여 모호한 사례를 자동으로 인간 운영자에게 라우팅할 수 있습니다.

대상 사용자

이 도구는 금융, 보안, 고객 지원 시스템과 같은 엔터프라이즈 애플리케이션을 구축하는 개발자를 위해 설계되었으며, 로컬에서 실행되는 안정적이고 고속의 판단 결정이 필요합니다. 클라우드 추론 비용을 피하고, 민감한 데이터를 기기에 유지하며, 표준 생성 모델에서 흔히 발견되는 예측 불가능성을 제거하려는 사람들에게 이상적입니다.

주요 특징

  • 높은 효율성: 엔터프라이즈 판단 벤치마크에서 77.10% 정확도로 크기가 2.8배 더 큰 모델을 능가합니다.
  • 로컬 실행: WebGPU를 통해 웹 브라우저에서 직접 실행되어 데이터 유출이 없고 클라우드 비용이 없습니다.
  • 보정된 신뢰도: 전용 신뢰도 헤드(ECE 1.44%)를 갖추어 예측 가능한 인간 개입 에스컬레이션을 가능하게 합니다.
  • 순서 강건성: 대칭 KL 발산 학습을 사용하여 입력 옵션이 섞일 때 '반전률'을 최소화하고 표준 모델에 비해 편향을 크게 줄입니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트