OpenJev: 브라우저 기반 의사결정 모델링 및 로짓 출력

OpenJev는 TypeSafe의 폐쇄형 서비스인 Jev의 인터페이스 패턴을 재현하기 위해 설계된 로컬, 브라우저 기반 구현입니다. 사용자는 대규모 언어 모델(LLM)에서 의사결정을 추출하는 두 가지 서로 다른 방법을 비교할 수 있습니다: 직접 로짓 출력과 토큰 단위 JSON 생성.

직접 로짓 출력 vs. 토큰 생성

OpenJev는 모델이 텍스트를 생성하도록 강제하는 대신, 모델의 내부 확률(로짓)을 읽는 방식으로 의사결정을 더 효율적으로 수행할 수 있음을 보여줍니다.

직접 로짓 출력 (디코딩 없음)

이 방법에서는 시스템이 모델의 선택 로짓을 읽고, 제공된 특정 옵션 집합에 대해 정규화합니다. 이 과정은 디코딩을 완전히 회피하여, 모델이 "답변을 쓰는" 과정 없이 허용된 선택지들 사이의 확률 분포를 제공합니다.

토큰 단위 생성

이는 전통적인 LLM 접근 방식으로, 모델이 분포를 추정하고 결과를 JSON 텍스트로 작성하도록 유도합니다. 이 과정은 JSON 구조의 모든 토큰을 순차적으로 생성해야 하므로 상당히 느립니다.

지원되는 모델 및 성능

OpenJev는 wllama를 통해 WebGPU와 양자화된 GGUF 빌드를 사용하여 브라우저 내에서 완전히 실행됩니다. 가중치는 Hugging Face에서 가져오며 로컬 캐시에 저장되며, 사용자의 브라우저 외부로 데이터가 나가지 않습니다.

모델	크기	작성 정확도	변형 정확도	TypeSafe 정확도
Qwen3 0.6B	639 MB	44.0%	52.8%	40.7%
MiniCPM5 2B	1.56 GB	68.6%	69.3%	63.7%
Qwen3.5 4B	3.01 GB	81.3%	76.6%	84.5%
공개된 Jev	호스팅	—	—	88.3%

기술적 구현 및 제한 사항

추론 엔진

OpenJev는 로컬 실행을 위해 WebGPU를 사용합니다. 그러나 일부 사용자들은 크롬 기반 브라우저가 아닌 경우(예: Firefox) 및 특정 모바일 장치(예: iPad Pro)에서 호환성 문제를 보고했으며, GPU 어댑터가 부족해 모델이 실행되지 않는 경우가 있습니다.

정확도 및 보정

직접 읽기 점수는 표시된 옵션 토큰들에 대한 소프트맥스입니다. 이는 조건부 확률이며, 보정된 신뢰도 점수는 아니며, 제공된 옵션 외의 모델이 선호할 수 있는 모든 가능한 답변을 고려하지 않습니다.

커뮤니티의 통찰과 반론

개발자들 간의 논의에서 OpenJev는 인터페이스를 재현하지만, 원래 Jev 서비스의 특허 기술 훈련 또는 특정 모델을 재현하지는 않는다는 점이 지적되었습니다.

의사결정 모델의 '보초'에 관하여

일부 개발자는 Jev의 핵심 혁신이 API가 아니라 특정 훈련과 모델 자체라고 주장합니다. 한 기여자는 기반이 되는 메커니즘—출력을 특정 토큰 집합으로 제한하는 것—이 알려진 기술이라고 지적했습니다:

"LLM의 마지막 단계는 예측에 대해 소프트맥스를 취한 후 그로부터 토큰을 생성하는 것입니다. 그러나 특정 문법에서 허용되는 다음 토큰들을 모두 생성할 수 있는 도구가 있었고... 허용되지 않는 것은 0으로 만들고, 허용된 토큰들 중에서 가장 좋은 것을 선택하는 방식이었습니다."

대안 구현

커뮤니티 구성원들은 DiffusionGemma를 Jev 유사 모델로 전환하는 vLLM 패치와 같은 다른 방법을 제시했으며, 이는 OpenJev에서 사용하는 소규모 오픈웨이트 모델보다 Jev의 평가 성능과 더 가까운 결과를 보였다고 보고했습니다.

사용자 경험에 대한 비판

사용자들은 OpenJev 데모 사이트의 시각적 디자인을 비판하며, "비브코드된" 또는 LLM 생성된 디자인이라며 기술 실험이 방해된다고 말했습니다. 일부는 비기술 사용자를 위한 기술 목적에 대한 명확한 설명이 부족하다고 지적했습니다.