nokia-applied-research/AnyJev

Turn any LLM into a Jev-style decision model: typed decisions, real probabilities, no training. (continue updating, welcome any issue and PR request)

해결하는 문제

대규모 언어 모델(LLM)에게 목록에서 옵션을 선택하라고 하면 옵션 순서를 바꿀 때 원시 답변이 자주 바뀌고, 모델은 실제 내용과 관계없이 특정 레이블을 선호하는 경향이 있습니다. 이로 인해 에이전트나 자동화에서 결정에 원시 로짓 판독이 신뢰할 수 없습니다. AnyJev는 유형화된 질문(선택, 예/아니오, 점수)을 하고 옵션에 대한 확률 분포를 반환하여 이 문제를 해결하며, 자유 텍스트 구문 분석이 필요 없습니다. 훈련 없는 모드(L0)는 인간이 레이블링한 데이터 없이 순서 편향과 레이블 편향을 모두 제거합니다.

작동 방식

상태(컨텍스트)와 유형화된 질문을 제공합니다. 라이브러리는 모델의 옵션 레이블에 대한 다음 토큰 분포에서 직접 읽으므로 아무것도 구문 분석되지 않습니다.

  • 훈련 없는(Decider): 모든 오픈 인과 LLM에서 작동합니다. L0 레벨은 옵션의 순환 회전마다 선택을 한 번 읽고(예: 18개 옵션에 대해 18회 회전), 위치 효과를 평균화하고, 레이블 없이 추정된 레이블 사전 확률로 나눕니다. 또한 답변이 충분히 확신될 때 조기 중지하는 회전 예산을 설정할 수 있으며, 모델 자체의 전체 주기 답변에 대해 보정됩니다—레이블이 필요 없습니다.
  • 자기 증류(Tacit): 이들은 자기 증류로 훈련된 미세 조정 체크포인트(1.7B~9B)입니다—추론 후 도달할 답변과 동일한 답변을 한 번의 순방향 패스로 제공하도록 학습합니다. 인간 레이블이나 다른 모델은 사용되지 않습니다. adaptive=True를 사용하면 낮은 신뢰도 결정의 제한된 비율이 모델 자체의 추론(사고 사슬)로 에스컬레이션되고, 최종 답변은 레이블 분포로 읽히므로 항상 확률을 가지며 구문 분석에 실패하지 않습니다.

라이브러리는 Transformers, 프로세스 내 vLLM, 원격 vllm serve, 그리고 SGLang 및 llama.cpp(기여)용 백엔드를 제공합니다. 작은 HTTP 게이트웨이를 통해 많은 클라이언트가 하나의 에스컬레이션 상한을 공유할 수 있습니다.

대상 사용자

  • LLM에서 신뢰할 수 있는 예/아니오, 객관식 또는 점수 결정이 필요한 AI 에이전트 또는 자동화 파이프라인을 구축하는 개발자.
  • 데이터를 훈련하거나 레이블링하지 않고 오픈 LLM을 사용하는 팀—훈련 없는 Decider는 모든 인과 LM에서 즉시 작동합니다.
  • 한 번의 순방향 패스로 실행되고 가장 어려운 몇 퍼센트의 결정에만 선택적으로 추론을 사용할 수 있는 작고 빠른 결정 모델(Tacit 1.7B–9B)을 원하는 모든 사람.

하이라이트

  • 훈련 없는 L0을 Qwen3-8B(BANKING77-20)에 적용: 순서 반전률이 0.230에서 0.073으로 감소, 정확도가 0.747에서 0.803으로 상승, ≤5% 오류에서 자동 디코딩 가능한 결정 비율이 7.7%에서 46.3%로 급증—모두 레이블 없이.
  • Tacit 자기 증류 모델(1.7B~9B)은 Hugging Face에 있습니다. 적응 모드는 낮은 신뢰도 결정의 제한된 비율(기본적으로 1000개마다 20%)만 추론으로 에스컬레이션하며, 에스컬레이션된 결정당 일반적으로 300–600 토큰을 추가합니다.
  • AnyJev Tacitus 31B(Gemma-4-31B에서 미세 조정)는 Decision Index 0.4.1 리더보드에서 Full 점수 66.47(2026-10-21)로 공동 3위를 차지했습니다.
  • 변경되지 않은 Gemma-4-31B에서 동일한 훈련 없는 Decider는 Decision Index 0.3에서 149개 항목 중 5위, Full 점수 60.22(2026-10-12)입니다.

관련

  • 프로젝트
  • 프로젝트
  • Dispatch
  • Dispatch
  • 프로젝트