canarybyte/veridrop

何を解決するか

Veridropは「偽の」AI APIリレーサービスやプロキシサービスの問題に対処します。多くのサードパーティプロバイダーは、Claude、GPT、Geminiなどの高機能モデルへのアクセスを提供すると主張していますが、実際にはコストを削減するために低価格・小規模なモデルにリダイレクトしているか、高度な機能を削除している可能性があります。Veridropは、リレーが本物であるか、公式API仕様に準拠しているか、宣伝した機能を実際に提供しているかを検証する手段を提供します。

動作方法

このツールは base_url、api_key、model 名を受け取り、プローブリクエストのセットを実行します。その後、実際のプロバイダーから取得した「公式ベースライン」（検証済みの応答）と照合します。照合は以下の3段階で行われます：

• フィールドレベル：応答フィールドやIDが公式のフォーマットと一致するかを確認。
• プロトコルレベル：ストリーミングイベントのシーケンスとSSE（Server-Sent Events）準拠性を検証。
• 暗号レベル：Claudeの場合、思考ブロック内の signature フィールドを特に検証し、リレーが偽造するにはほぼ不可能なレベルで検証。

また、「ハリネズミの中の針」テストも含まれており、宣伝された長文コンテキスト窓が実際に利用可能かどうか、または入力が静かに切り捨てられているかを検証します。

対象ユーザー

• 開発者とユーザー：サードパーティのリレーサービスからAPIアクセスを購入し、詐欺に遭っていないか確認したい人。
• サービスプロバイダー：透明性のあるオープンソースの証拠を通じて、自社のリレーサービスの本物性と品質を証明したい人。

特徴

• 暗号検証：Anthropicの思考署名を使用し、Claudeモデルの本物性を数学的に証明。
• コンテキスト窓テスト：複数層のプローブを用いて、「高級モデル詐欺」を検出。大容量コンテキストを宣伝しても実際は大幅に小さい場合を検出。
• マルチプロトコル対応：Anthropic Messages API、OpenAI Chat Completions、GeminiのOpenAI互換APIに対応。
• プライバシー最優先：ホスト版はAPIキーをディスクに保存せず、登録も不要。
• 詳細スコアリング：重大、主要、軽微な不一致に基づき、重み付きスコアと評価（合格、僅差、不合格）を提供。