malevrigns/agent-jev

解決する問題

AgentJevは、エージェントループ内の単純な決定タスク（ゲーティング、ルーティング、スコアリングなど）に大規模な生成LLMを使用することの非効率性と信頼性の低さを解決します。大きなモデルに推論応答を書かせ、そのテキストをブール値やカテゴリに解析する代わりに、AgentJevは単一のフォワードパスで事前定義されたオプションのセットに対する直接的な確率分布を提供し、トークンデコードとJSON解析の必要性を排除します。

仕組み

AgentJevは、言語モデルヘッドを除去したQwen3-0.6Bバックボーンに基づいており、専用の候補ヘッドを使用してオプションをスコアリングします。状態（例：diff、スタックトレース、チケット）と型付き質問を受け取り、次の3つのプリミティブのいずれかの確率分布を返します：

• ブール：真/偽の命題。
• 選択：2〜255の提供されたオプションからの選択。
• スコア：順序付きルーブリック（2〜10レベル）の値。

パフォーマンスを最適化するために、共有プレフィックスキャッシュメカニズムを採用し、状態を一度エンコードして各候補オプションに分岐し、冗長な計算を大幅に削減します。

対象読者

AIエージェント、トリアージボット、または複雑なワークフローを構築する開発者向けに設計されています。フル生成ターンのオーバーヘッドなしに、ルーティングや安全決定を行うための小さくて高速な「反射」モデルが必要な場合に適しています。

ハイライト

• ゼロデコードトークン：隠れ状態から直接分布を返し、不正なテキスト出力のリスクを排除します。
• 高効率：KVプレフィックス再利用により、非因果エンコーダと比較して広い候補セットで最大2倍高速です。
• 型付きプリミティブ：ブール、選択、スコアの構造化出力を提供し、信頼マージンと期待値を含みます。
• 統合ゲーティング：Claude Codeなどのツール用のツール使用前フックを含み、モデルスコアに基づいて安全でないアクションをブロックします。