canarybyte/veridrop

Veridrop – AI-APIリレー（プロキシ）サービスのオープンソースチェックツール

概要

• Claude、OpenAI、Geminiのサードパーティ製「リレー」またはプロキシが、実際に宣伝されているモデルにリクエストを転送し、モデルの全機能を保持しているかを検証するPythonベースのツールです。
• 公開Web UI veridrop.app（サインアップ不要、APIキーは保存されません）から使用するか、CLI + FastAPIサービスとしてセルフホスト可能です。

重要性

• 多くの安価なリレーサービスは最新のLLMを提供すると謳っていますが、実際にはモデルのダウングレード、機能の削除（PDF読み取り、ツール使用、関数呼び出し、長文コンテキストウィンドウ）、またはクライアントコードを壊す不正な応答を返すことがよくあります。
• Veridropは一連のプローブリクエストを実行し、応答を公式APIのベースラインと比較して、以下の項目を示すスコア付きレポートを作成します：
  1. 真正性 – リレーは本当に宣伝されているモデルに転送しているか？
  2. 機能性 – 高度な機能が隠されていないか？
  3. コンプライアンス – フィールド、ストリーミングイベント、使用量計算は公式仕様に従っているか？

仕組み

• ベースライン収集 – bench.sh を使用して、公式のAnthropic、OpenAI、またはGeminiエンドポイントから参照応答を取得できます（data/baselines/ に保存）。
• 検出器 – プロトコル固有の検出器モジュール（Claude 11, OpenAI 8, Gemini 7）がターゲットリクエスト（例：PDF-in-base64ペイロード、関数呼び出しスキーマ、長文コンテキストの「干し草の中の針」トークンバースト）を発行し、以下を検査します：
  • Claudeの thinking ブロック内の暗号化された signature（偽造不可）
  • モデル固有のフィールド、使用フィンガープリント、IDプレフィックス、ストリーミングSSEシーケンスなどの存在。
• スコアリング – 各検出器がスコアと重みを返し、全体スコアは加重平均となります。重大な障害（例：署名の欠落、PDF処理の削除）がある場合、合計スコアが高くても最終判定は marginal となります。
• レポート – JSON出力に加え、人間が読めるHTMLページと共有可能なJPGカードを作成します。Web UIでは、公開レポートをリーダーボードに集約します。

インストール / セルフホスト

git clone https://github.com/canarybyte/veridrop.git
cd veridrop
python3 -m venv venv
./venv/bin/pip install -e ".[dev,web]"
# ローカルでAPIを実行
./venv/bin/uvicorn web.server:app --host 0.0.0.0 --port 8000

• CLI (relay-detector) は3つのモードをサポートしています：
  • quick (5つのコアチェック、約15秒、約$0.005)
  • standard (8つのチェック、約40秒、約$0.012)
  • full (全11チェック、約70秒、約$0.020) – ベースライン比較に必要。
• CLI使用例：

# リレーにpingを送信
./venv/bin/relay-detector ping --model claude-haiku-4-5
# 完全な検出
./venv/bin/relay-detector detect \
  --model claude-haiku-4-5 --mode full -o out.json
# 公式ベースラインと比較
./venv/bin/relay-detector compare out.json

主な機能

• 暗号学的検証：thinking_signature フィールド（Anthropic固有）によるClaudeの検証。
• 長文コンテキストプローブ：多段階のトークンバーストによる「1Mトークンと宣伝されているが実際は200k」といった詐称の検出。
• 機能チェック：PDF抽出、ツール使用、関数呼び出し、構造化出力、ストリーミングコンプライアンスのチェック。
• 公開リーダーボード：数千のリレーの集約スコアを表示。
• プライバシー優先 – APIキーはメモリ内のみに存在し、レポートは自動的にキーを編集（削除）します。

ライセンス

• AGPL-3.0-or-later。個人、研究、または内部使用は無料。他者にサービスを提供する公開SaaSを運営する場合は、変更点をオープンソースにする必要があります（AGPLのネットワーク使用条項）。

対象ユーザー

• サードパーティのリレーエンドポイントに依存しており、支払ったモデルを確実に受け取っているか確認したい開発者。
• ユーザーに公開するリレーを監査したいプラットフォーム運営者。
• 不正なAI-APIサービスを調査するセキュリティ/研究チーム。
• APIキーを渡す前に、リレーの真の機能とコンプライアンスを知りたい方。