malevrigns/agent-jev

해결하는 문제

AgentJev는 에이전트 루프 내에서 간단한 결정 작업(게이팅, 라우팅, 스코어링 등)에 대규모 생성 LLM을 사용할 때의 비효율성과 비신뢰성을 해결합니다. 큰 모델이 추론 응답을 작성하고 그 텍스트를 불리언이나 카테고리로 파싱하는 대신, AgentJev는 단일 순방향 패스에서 사전 정의된 옵션 집합에 대한 직접 확률 분포를 제공하여 토큰 디코딩과 JSON 파싱의 필요성을 제거합니다.

작동 방식

AgentJev는 언어 모델 헤드를 제거한 Qwen3-0.6B 백본을 기반으로 하며, 특수 후보 헤드를 사용하여 옵션을 점수화합니다. 상태(예: diff, 스택 트레이스, 티켓)와 타입이 지정된 질문을 받아 다음 세 가지 프리미티브 중 하나의 확률 분포를 반환합니다:

• 불리언: 참/거짓 명제.
• 선택: 2-255개의 제공된 옵션 중 선택.
• 점수: 순서가 있는 루브릭(2-10레벨)의 값.

성능을 최적화하기 위해 공유 접두사 캐싱 메커니즘을 사용하여 상태를 한 번 인코딩하고 각 후보 옵션에 대해 분기하여 중복 계산을 크게 줄입니다.

대상 사용자

AI 에이전트, 트리아지 봇 또는 복잡한 워크플로우를 구축하는 개발자를 위해 설계되었습니다. 전체 생성 턴의 오버헤드 없이 라우팅 또는 안전 결정을 내리는 데 필요한 작고 빠른 "반사" 모델이 필요한 경우에 적합합니다.

하이라이트

• 제로 디코딩 토큰: 숨겨진 상태에서 직접 분포를 반환하여 잘못된 텍스트 출력의 위험을 제거합니다.
• 높은 효율성: KV 접두사 재사용을 통해 넓은 후보 집합에서 비인과 인코더보다 최대 2배 빠른 성능을 달성합니다.
• 타입이 지정된 프리미티브: 불리언, 선택, 점수에 대한 구조화된 출력을 제공하며 신뢰 마진과 기대값을 포함합니다.
• 통합 게이팅: Claude Code와 같은 도구에 대한 도구 사용 전 훅을 포함하여 모델 점수에 따라 안전하지 않은 작업을 차단합니다.