wfzyx/von

해결하는 문제

Von은 분류, 의도 라우팅, 가드레일 검증과 같은 작업을 위해 대규모 언어 모델(LLM)을 대체하기 위해 설계된 비자기회적 결정 모델입니다. 토큰 단위 텍스트 생성과 관련된 높은 지연, 메모리 오버헤드(KV 캐시), 비결정론적 파싱 오류를 제거하여 25ms 미만의 시간 안에 결정론적이고 통계적으로 보정된 결정을 제공합니다.

작동 방식

ModernBERT-Large(395M 파라미터) 기반으로, Von은 단일 포워드 패스에서 입력 상태를 특정 기준과 비교하는 양방향 어텐션 헤드를 사용합니다. 결정을 위한 세 가지 수학적 원시 기능을 구현합니다:

• Choice: 상호 배타적인 가설에 대한 정규화된 확률 분포를 사용한 범주형 결정.
• Noul: 조건이 참인지 여부를 추정하기 위한 이진 확률 검증.
• Score: 심각도 또는 품질 수준 시퀀스에 대한 기대값을 계산하는 순서형 연속 평가.

신뢰성을 보장하기 위해, 복합 교차 엔트로피와 브라이어 스코어 손실을 사용한 보정 분포를 활용한 강화학습(RLCD)을 통해 사후 훈련이 수행됩니다.

대상 사용자

고주파 운영 파이프라인, 실시간 인터랙티브 시스템(로봇공학 또는 게임 등), 빠르고 보정된 결정론적 라우팅 및 트리아지가 필요한 에이전트 워크플로우를 구축하는 개발자.

주요 특징

• 초저지연: 25ms 미만의 추론 속도로, 자기회귀적 LLM보다 훨씬 빠릅니다.
• 비자기회적 병렬 처리: 상태 내 여러 독립적인 질문을 한 번의 패스로 동시에 평가합니다.
• 보정된 불확실성: 온도 스케일링을 통해 출력 확률이 실제 예측 신뢰도를 반영합니다.
• 하드웨어 독립성: NVIDIA CUDA, AMD ROCm, Apple Silicon MPS, CPU에 최적화되어 있습니다.
• 최고 성능(SOTA): 실시간 ViZDoom 아레나 전투 및 고정확도 다단계 추론 벤치마크에서 상용 대안을 능가합니다.
• 프로덕션 준비 완료: Python/TypeScript SDK와 호환 HTTP 서버(von serve)를 포함합니다.