Yinsongxu/LLM2Jev

Turn local language models into Jev-style structured decision models. Get results from text and images with prefill alone—no token-by-token decoding required.

LLM2Jev — 기능 소개

LLM2Jev는 기존의 대규모 언어 모델(LLM) 또는 멀티모달 모델(MLLM — 이미지도 이해하는 모델)을 의사 결정 엔진으로 변환하는 도구입니다. 텍스트를 생성하는 것 외에도 모델은 "이 텍스트는 어떤 카테고리에 속하나요?" 또는 "이 이미지가 이 지시와 얼마나 잘 일치하나요?"와 같은 구조화된 질문에 답할 수 있습니다. 그리고 이 모든 것은 훈련이나 파인튜닝 없이 가능합니다. 현재 모델 가중치를 유지하면서 그 위에 의사 결정 기능을 추가합니다.

이것은 독립적인 오픈소스 프로젝트로, Jev 또는 TypeSafe(모방하는 "Jev 스타일" 의사 결정 형식의 배후 회사)와 관련이 없습니다.


핵심 기능

  • 네 가지 질문 유형, 하나의 요청에서 혼합 가능:
    • Choice — 세트에서 하나의 옵션을 선택하고 각 옵션의 확률을 얻습니다.
    • Score — 루브릭에 따라 무언가를 평가합니다.
    • Noul — 예/아니오 확률.
    • Box — 이미지에서 대상을 찾아 정규화된 경계 상자 좌표를 반환합니다.
  • 텍스트 및 이미지 지원: state(상황) 또는 instructions(평가할 내용)에 이미지와 텍스트를 넣을 수 있습니다.
  • 빠른 프리필 전용 스코어링: Choice, Score, Noul의 경우 모델은 전체 답변을 생성하지 않고 관련 로짓(원시 예측 점수)을 읽습니다. Box만 실제로 좌표를 생성합니다. 이로 인해 일반 텍스트 생성보다 훨씬 빠른 의사 결정이 가능합니다.
  • 공유 인프라: 채팅과 의사 결정은 동일한 모델과 서비스(SGLang 백엔드)에서 실행되며, 공식 OpenAI SDK를 확장한 단일 Python 클라이언트를 통해 둘 다 호출합니다. 따라서 익숙한 인터페이스, 인증, 타임아웃, 재시도를 유지할 수 있습니다.

지원되는 백엔드

LLM2Jev는 세 가지 모델 서빙 백엔드에서 작동합니다:

  • SGLang — Linux의 NVIDIA GPU용(빠른 시작 경로).
  • Transformers — 표준 Hugging Face 파이프라인.
  • MLX — Apple Silicon Mac용.

세 가지 모두 텍스트 및 이미지 스코어링을 지원하며, SGLang 및 MLX 백엔드는 호환 가능한 HTTP 엔드포인트(POST /v1/systemone)도 노출합니다.


빠른 이유: 공유 접두사 재사용

동일한 state(예: "내 카드가 두 번 청구되었습니다")에 대해 여러 질문을 하면 모든 후보가 해당 텍스트를 공유합니다. LLM2Jev는 이를 활용합니다:

  • SGLang에서는 먼저 실제 "기준" 후보를 스코어링하여 Radix Cache를 워밍업한 다음, 나머지 후보를 제출하여 캐시된 접두사를 재사용하도록 하여 반복 계산을 피합니다.
  • MLX에서는 각 후보 접미사를 스코어링하기 전에 공유 접두사를 명시적으로 프리필합니다.

이 "단계적" 접근 방식은 긴 입력과 많은 후보에 대해 작업량을 크게 줄이며, 두 백엔드는 동일한 이진 스코어링 인터페이스를 유지합니다.


빠른 시작(Linux의 SGLang)

  1. 리포지토리를 클론하고 uv sync --extra sglang으로 설치합니다.
  2. 서버를 시작합니다:
    llm2jev-serve --backend sglang --model-path /path/to/model \
      --served-model-name local-model --host 127.0.0.1 --port 30000
    
  3. Python에서는 의사 결정과 채팅 모두에 하나의 클라이언트를 사용합니다:
    from llm2jev import Client, Choice
    
    client = Client(base_url="http://localhost:30000/v1", api_key="unused")
    
    decision = client.systemone.create(
        model="local-model",
        state="My card was charged twice.",
        questions={"department": Choice(criteria={
            "billing": "Charges and billing", "shipping": "Delivery",
        })},
    )
    print(decision.choices["department"].probabilities)
    
    chat = client.chat.completions.create(
        model="local-model",
        messages=[{"role": "user", "content": "How can I request a refund?"}],
    )
    print(chat.choices[0].message.content)
    

데모

리포지토리에 포함된 대화형 예제:

  • 웹 데모 — 브라우저에서 질문을 제출하고 확률을 확인합니다.
  • 스네이크 데모 — 모델이 이동 결정을 내리는 게임.
  • MuJoCo 픽 앤 플레이스 — 모델 결정으로 구동되는 로봇 팔 작업.
  • Valen Sokoban — 단일 단계 동작 평가가 포함된 시각적 소코반 퍼즐.

벤치마크(README에서)

  • JevBench 공개 정확도: 231개의 공개 항목에서 Qwen3.5-4B를 사용한 LLM2Jev는 76.2% 정확도를 기록했습니다.
  • 지연 시간: LLM2Jev P50 48ms / P95 346ms, Jev 1.13.0의 P50 652ms / P95 722ms와 비교하여 중앙값에서 10배 이상 빠릅니다.
  • Valen-Eval-Game: 500개의 이미지 조건 소코반 질문으로, 멀티모달 Choice 파이프라인을 사용하여 타이브레이크 인식 최적 동작 정확도를 측정합니다.

참고: README에 따르면 성능 향상은 입력 길이, 후보 수, 캐시 상태에 따라 달라집니다.


로드맵 상태

  • ✅ 대화형 웹 데모
  • ✅ Transformers 및 SGLang에 대한 초기 로컬 이미지 지원
  • ✅ 더 많은 멀티모달 작업 및 데모
  • ⬜ 모델 크기, 데이터 세트, 워크로드에 걸친 추가 벤치마크(의사 결정 품질, 지연 시간, 처리량)

라이선스

Apache License 2.0.


위의 모든 사실은 프로젝트 README에서 직접 가져온 것입니다. README에 명시되지 않은 기능이나 숫자는 추가되지 않았습니다.

관련

  • 프로젝트
  • 프로젝트
  • Dispatch
  • 프로젝트
  • 프로젝트