OpenAI는 TypeSafe의 Jev 분류 모델을 빠르게 따라갈 수 있는 위치에 있다

핵심 포인트

OpenAI는 TypeSafe의 Jev 분류 모델을 복제하고, 보정된 즉각적인 판단을 미래의 LLM에 직접 통합할 수 있는 위치에 있다. 이는 OpenAI가 더 빠르고, 저렴하며, 더 신뢰할 수 있는 추론 능력을 갖게 해줄 것이다.

왜 Jev가 중요한가

Jev는 다음 토큰 예측 패러다임을 버리고, true/false, 다중 선택, 점수와 같은 즉각적이고 보정된 결정을 제공한다. 이는 모델의 토큰 수준 확률 분포(로짓)를 노출하고, 작은 답변 토큰 집합의 확률을 정규화함으로써 가능하다. 그 결과는 간단한 API를 통해 호출할 수 있는 빠르고 저비용의 분류기다.

"Jev는 AI 게이트웨이 역사상 가장 빠르게 채택된 모델이다." – Vercel

Jev의 접근 방식이 다양한 도메인에서 정확함이 입증된다면, AI 시스템에 새로운 기본 요소를 제공한다: GPU를 떠나지 않고도 호출할 수 있는 내장형, 저비용 분류기.

OpenAI의 기존 마이크로 분류기

OpenAI는 수년간 단일 토큰 결정을 암묵적인 분류기로 사용해왔다:

  • 도구 호출 – assistant 이후 첫 번째 토큰이 일반 응답(\n)을 내보내는지, 도구 호출 마커(to=function.)를 내보내는지를 결정한다.
  • 도구 선택 – 이후 토큰들이 호출할 구체적인 도구를 선택한다.
  • 메시지 종료 – ↵ 토큰은 "어시스턴트가 끝났는가?"에 대한 분류기 역할을 한다.

이러한 마이크로 분류기는 모델의 순방향 전파에 내장된 전문 토큰이다. Jev의 독창성은 이 아이디어를 일반화하는 것이다: 수십 개의 하드코딩된 결정이 아니라, 모델이 토큰 수준 로짓을 사용해 임의의 분류 질문에 답하도록 하는 것이다.

OpenAI가 Jev를 복제할 수 있는 방법

  1. 학습 데이터 – TypeSafe는 데이터가 100% 합성이며 매우 보정되어 있다고 주장한다. OpenAI는 대규모로 유사한 합성 데이터셋(지원 티켓, 이력서, 리뷰, 모더레이션 큐, 예측 시장 결과 등)을 생성하고, 베이스 LLM을 이를 기반으로 미세 조정할 수 있다.
  2. 보정된 로짓을 위한 미세 조정 – 작은 답변 집합(예: true/false)에 대해 올바른 확률 분포를 출력하도록 모델을 훈련시키면, 모델은 잘 보정된 점수를 생성하는 법을 배운다.
  3. <prediction> 태그 통합 – OpenAI는 모델이 가장 높은 확률 토큰 대신 보정된 확률을 출력하도록 하는 특수 토큰 시퀀스를 도입할 수 있다. 추론 시점에 시스템은 답변 토큰의 로짓을 읽고 정규화한 후, 수치 확률을 생성된 텍스트에 다시 기록한다.
  4. 전문가 혼합 라우팅 – 작은 전문가 모델을 이러한 예측 슬롯을 처리하도록 훈련시킬 수 있으며, 모델의 나머지 부분은 정상적인 언어 생성을 계속할 수 있다. 이는 별도의 서비스 없이도 빠르고 부담이 적은 분류를 가능하게 한다.

OpenAI의 잠재적 수익

내장형 분류기

  • 속도 – 외부 API 호출이 필요 없으며, 모델이 GPU 내부에서 확률을 평가하고 동일한 GPU에서 생성을 계속한다.
  • 비용 – 별도의 분류기 서비스의 지연 및 컴퓨팅 오버헤드를 제거한다.
  • 안전성 – 모델이 도구 호출을 실행하기 전에 자체적으로 안전성을 평가할 수 있다. 예를 들어, 노출된 API 키가 있는지 확인할 수 있다.

예시 사용 사례

  • 자기 점검 추론 – 긴 사고 체인 중에 모델은 <prediction> 블록을 통해 결론에 도달했는지, 계속해야 하는지 결정할 수 있다.
  • 동적 작업 라우팅 – "이 작업을 처리할 모델 크기는 무엇인가?"라고 질문하고, 비용 대비 정확도를 최적화하여 작업을 라우팅할 수 있다.
  • 다중 모달 분류 – 이 패턴이 텍스트 LLM에 내장되면, 동일한 메커니즘은 이미지 및 음성 모델로 확장될 수 있어, 시각적 또는 음성 입력에 대한 즉각적인 분류를 가능하게 한다.

TypeSafe는 경쟁 우위를 가질 수 있는가?

이 글은 유일한 타당한 경쟁 우위는 특허된 학습 데이터와 보정된 확률을 생성하는 강화 학습 파이프라인이라고 주장한다. TypeSafe 공동 창립자인 Diogo Almeida는 데이터가 완전히 합성적이며 일반성에 초점을 맞췄다고 강조한다:

"우리는 데이터 연구소라고 생각한다! 대부분의 연구는 진정한 일반성(예: 인지 핵심)을 갖춘 데이터를 만드는 데 집중되었으며, 우리의 데이터 100%는 합성적이다…"

만약 데이터와 RL 미세 조정이 진정으로 독특하고 재현하기 어려우면, TypeSafe는 경쟁 우위를 유지할 수 있다. 그러나 많은 댓글 작성자들은 OpenAI의 자원을 가진 연구소라면 유사한 합성 파이프라인을 쉽게 구축할 수 있다고 지적한다.

커뮤니티의 시각

  • @orbital-decay – 대부분의 AI 연구소가 이미 내부 분류기를 운영하고 있으며, 이를 공개 API로 노출하는 것은 새로운 것이 아니라고 강조한다.
  • @andy12_ – OpenAI가 추론을 추가하면 Jev의 속도 우위가 사라진다고 주장한다. 왜냐하면 여전히 토큰을 생성해야 하기 때문이다.
  • @nullbio – Jev의 오픈소스 클론은 이미 존재하며 하루 만에 구축할 수 있다고 주장하며, 복제 장벽이 낮다고 본다.
  • @amelius – 로짓은 실제 세계의 주장에 대한 진정한 확률이 아니라 훈련 분포를 반영한다고 지적하며, 보정에 대한 의문을 제기한다.
  • @prometheus1992 – Jev 스타일 서비스의 시장은 제한적이라고 제안한다. 무료이고 로컬에서 사용 가능한 대안이 있기 때문이다.

이러한 댓글들은 두 가지 주제를 강조한다: (1) 토큰 수준 분류의 기술적 아이디어는 새로운 것이 아니며, (2) 상업적 경쟁 우위는 원래 글이 가정한 것보다 얕을 수 있다.

전망

Jev의 보정된 확률이 다양한 도메인에서 정확함이 입증된다면, OpenAI는 이를 주력 모델에 통합하여 추론, 안전성, 비용 효율성을 향상시키는 강력한 내장 분류기를 갖게 될 것이다. 만약 TypeSafe의 데이터 파이프라인이 진정으로 독특하다면, 그들은 니치 전문 기업으로 살아남거나 인수 대상이 될 수 있다. 그렇지 않다면, OpenAI의 규모와 엔지니어링 전문성으로 인해, Jev 유사 제품이 OpenAI 생태계 내에서 몇 달 안에 등장할 가능성이 높다.

위 분석은 Arcturus Labs 블로그 게시물, 링크된 Vercel 발표, 그리고 하이커 뉴스에서 최고 득표를 받은 댓글에 기반한다.

Sources

관련