jkudish/jev-mcp

Fast, cheap, typed judgments from TypeSafe's Jev model, as MCP tools.

Jev MCP – AIエージェント向けの型付き判断ツール

何であるか – TypeSafeのJev言語モデルをラップし、"メカニカル・チェックポイント"(MCP)ツールのセットを公開する小さなNodeベースのサーバー。各ツールは具体的なリクエスト(例:検証すべき主張、スクリーニングすべきページ、順位付けすべき候補リストなど)を受け取り、型付きの結果(確率分布、信頼度スコア、自動承認可否フラグ)を返す。目的は、大規模LLMをすべてのデータに対して実行する必要がある場合に、低コストで高速なチェックを提供することである。

入手方法 – npmからパッケージをインストールし、ローカルサーバーとして実行する:

npx -y @jkudish/jev-mcp   # MCPサーバーを起動

Node 20+とTypeSafe APIキー(TYPESAFE_API_KEY)が必要。READMEには、Amp、Claude Code、Codex、OpenCodeなど、さまざまなMCP対応クライアントにサーバーを登録する方法も記載されている。

コアツール

ツール 機能 一般的な出力
jev_verify 提供された証拠に基づいて各主張を検証。 主張ごとの判断(verified, contradicted, …)、完全な確率分布、信頼度、自動承認フラグ。
jev_screen エージェントがページを読む前に、プロンプトインジェクション、実質内容、関連性を検出。 injection, substance, relevanceの確率;推奨(pass, review, block, skip)。
jev_find 自然言語クエリに対して候補テキストのスコアを付け、回答が存在するかを判断。 存在確率、上位k個の候補IDと確率。
jev_rerank すべての候補に対して関連性スコアを返し、順位付け。 各アイテムに関連性確率付きの順位付きリスト。
jev_classify ユーザーが提供したカテゴリリストに基づいて複数アイテムを一括ラベル付け。 カテゴリID、マージン、信頼度、各アイテムの自動承認フラグ。
jev_decide 明確な要件をチェックしながら2〜6候補の中から限定的な意思決定を行う。 選択された候補、エスケープフラグ、各要件に対する支持/矛盾。
jev_compare 2つの文章を全体的および各側面ごとに比較し、同じ事実を述べているか、矛盾しているか、無関係かを判断。 各側面と全体の関係、信頼度、自動レビューフラグ。
jev_extract ユーザーが提供した正規表現を実行し、Jevが正しいマッチを選択して元のソースから正確な文字列を返す。 抽出された値、ステータス(auto/review/not_found)、診断情報。
jev_review 提案されたコード差分を証拠、仕様、テストなどと比較してスコアリング(紹介で説明)。
jev_gate パッチレビューと主張検証を1回の呼び出しで統合。

なぜ重要か – 大規模LLMは高価で遅い(1回あたり数秒〜数分)。Jev MCPはわずか数セントの一部と約150〜500ミリ秒のレイテンシで型付きの判断を提供し、以下が可能になる:

  • レポートやPR説明の主張ごとに事実検証。
  • エージェントに到達する前に、隠れたプロンプトインジェクションを含むページをブロック。
  • エンベッディングやベクトルインデックスを構築せずに、ドキュメントの検索や再順位付け。
  • サポートチケット、受信箱メッセージ、ログエントリの自動ラベル付け。
  • 単純な意思決定(例:デプロイ戦略の選択)を実行しつつ、曖昧なケースは人間が確認できるようにする。

設計上の選択と制限

  • 型付き応答:各ツールは厳密なスキーマを強制(確率の合計は1、信頼度は[0,1]など)。無効または不正なモデルの応答はinvalid_responseとして報告され、静かに受け入れられない。
  • 自動承認閾値:各ツールにはデフォルトの信頼度カットオフ(auto_accept ≈ 0.8)があり、調整可能。これ未満の場合はレビュー対象としてフラグ付け。
  • バッチ制限:1回の呼び出しで最大250候補/カテゴリ、分類では64アイテム、テキストは2,000文字まで切り捨て、再順位付けでは合計100,000文字の予算。
  • エンベッディングやインデックスなし:システムはJevモデルの意味的スコアリングに依存するため、別途ベクトルストアを維持する必要がない。
  • 初期段階のソフトウェア:READMEは「荒い部分」に注意を促し、貢献を歓迎している。

一般的なワークフロー

  1. サーバーを起動(npx -y @jkudish/jev-mcp)。
  2. MCPクライアントを設定(例:amp mcp add jev …)。
  3. エージェントコードからツールを呼び出し、READMEに示されたJSON引数を渡す。
  4. 型付き結果を確認 – decision/actionがautoなら続行、それ以外は人間のレビューを待機。

結論 – Jev MCPは、TypeSafeのJevモデルを使って低コスト、高速、構造化された判断を実行できる実用的でオープンソースのラッパーである。AIエージェントツールキットの領域に明確に位置づけられ、既にMCPスタイルのサーバーをサポートするあらゆるワークフローに組み込める。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト