vinilana/jev-gateway

解决的问题

jev-gateway 通过将调用哪个工具的决定交给一个专门的快速决策模型 Jev，降低了编码代理的成本和延迟。网关不再使用昂贵的推理模型来决定下一步调用哪个工具，而是拦截请求，向 Jev 询问最佳工具，然后引导主 LLM 使用该工具，同时将所有其他处理留给原始模型。

工作原理

该项目充当一个本地代理（网关），位于编码代理与其 LLM 提供商之间。当代理即将进行工具调用时，网关会向 Jev API（可通过 TypeSafe、OpenRouter、Vercel AI Gateway 或 OpenCode 使用）请求选择合适的工具。

根据 Jev 的置信度，网关会采取不同的操作：

• 强制：Jev 选择一个工具，LLM 被强制使用该工具，并填写剩余的参数。
• 直接：Jev 选择一个工具，所有参数都是固定的（枚举/布尔值），网关无需调用 LLM 即可直接回答。
• 无：Jev 决定不需要工具。
• 透传：如果 Jev 不自信、速度慢或不可用，请求将原封不动地转发给 LLM，以确保代理永远不会失败。

适用人群

使用 Codex、Claude Code、OpenCode、Kilo 或 Devin 等 AI 编码代理的开发者，他们希望优化工具调用效率，并减少对昂贵推理模型进行简单路由决策的依赖。

亮点

• 开箱即用的支持：适用于 Codex、Claude Code、OpenCode、Kilo、Gemini 和 Devin。
• 零配置集成：提供 jev- 启动命令（例如 jev-codex），无需修改现有代理的本地配置文件即可包装它们。
• 监控仪表板：包含一个基于 Web 的仪表板，用于跟踪路由决策、延迟、令牌使用情况以及与基线的成本对比。
• 故障安全设计：如果网关或 Jev API 遇到错误，请求会自动回退到原始 LLM。
• 灵活的提供商支持：可以通过多个提供商连接到 Jev，包括 TypeSafe、OpenRouter、Vercel 和 OpenCode。