vinilana/jev-gateway

解決する課題

jev-gateway は、どのツールを呼び出すかの判断を、Jev という専門の高速な判断モデルにオフロードすることで、コーディングエージェントのコストとレイテンシを削減します。高価な推論モデルを使って次のツールを決定する代わりに、ゲートウェイがリクエストをインターセプトし、Jev に最適なツールを尋ね、メインのLLMをそのツールへ誘導します。その他の処理はすべて元のモデルに任せます。

仕組み

このプロジェクトは、コーディングエージェントとそのLLMプロバイダーの間に位置するローカルプロキシ（ゲートウェイ）として機能します。エージェントがツール呼び出しを行おうとすると、ゲートウェイは Jev API（TypeSafe、OpenRouter、Vercel AI Gateway、または OpenCode 経由で利用可能）に適切なツールの選択を要求します。

Jev の信頼度に応じて、ゲートウェイは異なるアクションを取ります：

• 強制（Forced）: Jev がツールを選択し、LLM はそのツールを使用することを強制され、残りの引数を入力します。
• 直接（Direct）: Jev がツールとすべての引数（enum/boolean）を固定し、ゲートウェイが LLM を呼び出さずに応答できるようにします。
• なし（None）: Jev がツールが不要と判断します。
• パススルー（Passthrough）: Jev が自信がない、遅い、または利用できない場合、リクエストは変更されずに LLM に転送され、エージェントが失敗しないことを保証します。

対象読者

Codex、Claude Code、OpenCode、Kilo、Devin などの AI コーディングエージェントを使用している開発者で、ツール呼び出しの効率を最適化し、単純なルーティング判断のために高価な推論モデルへの依存を減らしたい方。

主な特長

• すぐに使えるサポート: Codex、Claude Code、OpenCode、Kilo、Gemini、Devin に対応。
• ゼロ設定の統合: 既存のエージェントをラップする jev- ランチャーコマンド（例：jev-codex）を提供し、ローカル設定ファイルを変更する必要がありません。
• モニタリングダッシュボード: ルーティング判断、レイテンシ、トークン使用量、ベースラインとのコスト比較を追跡する Web ベースのダッシュボードを備えています。
• フェイルセーフ設計: ゲートウェイまたは Jev API でエラーが発生した場合、リクエストは自動的に元の LLM にフォールバックします。
• 柔軟なプロバイダーサポート: TypeSafe、OpenRouter、Vercel、OpenCode など、複数のプロバイダーを介して Jev に接続できます。