vinilana/jev-gateway

해결하는 문제

jev-gateway는 어떤 도구를 호출할지 결정하는 작업을 Jev라는 특화된 빠른 결정 모델에 오프로딩하여 코딩 에이전트의 비용과 지연 시간을 줄입니다. 다음 도구를 결정하기 위해 비용이 많이 드는 추론 모델을 사용하는 대신, 게이트웨이가 요청을 가로채 Jev에게 최적의 도구를 요청한 다음, 기본 LLM을 해당 도구로 안내하며, 다른 모든 처리는 원래 모델에 맡깁니다.

작동 방식

이 프로젝트는 코딩 에이전트와 LLM 제공자 사이에 위치하는 로컬 프록시(게이트웨이) 역할을 합니다. 에이전트가 도구 호출을 하려고 할 때, 게이트웨이는 Jev API(TypeSafe, OpenRouter, Vercel AI Gateway 또는 OpenCode를 통해 사용 가능)에 적절한 도구를 선택하도록 요청합니다.

Jev의 신뢰도에 따라 게이트웨이는 다른 작업을 수행합니다:

• 강제(Forced): Jev가 도구를 선택하고, LLM은 해당 도구를 사용하도록 강제되며 나머지 인수를 채웁니다.
• 직접(Direct): Jev가 도구와 모든 인수(열거형/불리언)를 고정하여, 게이트웨이가 LLM을 호출하지 않고 응답할 수 있습니다.
• 없음(None): Jev가 도구가 필요 없다고 결정합니다.
• 통과(Passthrough): Jev가 확신이 없거나, 느리거나, 사용할 수 없는 경우, 에이전트가 실패하지 않도록 요청이 수정되지 않은 채 LLM으로 전달됩니다.

대상 사용자

Codex, Claude Code, OpenCode, Kilo 또는 Devin과 같은 AI 코딩 에이전트를 사용하는 개발자로서, 도구 호출 효율성을 최적화하고 단순한 라우팅 결정에 비용이 많이 드는 추론 모델에 대한 의존도를 줄이려는 사람들.

주요 특징

• 즉시 사용 가능한 지원: Codex, Claude Code, OpenCode, Kilo, Gemini 및 Devin과 호환됩니다.
• 제로 구성 통합: 기존 에이전트를 로컬 구성 파일 수정 없이 감싸는 jev- 런처 명령어(예: jev-codex)를 제공합니다.
• 모니터링 대시보드: 라우팅 결정, 지연 시간, 토큰 사용량 및 기준선 대비 비용 비교를 추적하는 웹 기반 대시보드를 포함합니다.
• 안전 실패 설계: 게이트웨이 또는 Jev API에 오류가 발생하면 요청이 자동으로 원래 LLM으로 대체됩니다.
• 유연한 제공자 지원: TypeSafe, OpenRouter, Vercel 및 OpenCode를 포함한 여러 제공자를 통해 Jev에 연결할 수 있습니다.

요약

코딩 에이전트를 위한 로컬 LLM 게이트웨이로, 빠른 Jev 결정 모델을 사용하여 도구 선택을 최적화하고 기본 추론 모델의 비용과 지연 시간을 줄입니다.

제목

비용이 많이 드는 추론 모델에서 빠른 결정 모델로 도구 선택 결정을 오프로드하는 로컬 LLM 게이트웨이