canarybyte/veridrop

Veridrop – AI-API 中继（代理）服务的开源检查工具

它是什么

• 一个基于 Python 的工具，用于验证 Claude、OpenAI 或 Gemini 的第三方“中继”或代理是否真的将请求转发给宣传的模型，并保留了该模型的完整功能。
• 可通过公开的网页 UI veridrop.app 使用（无需注册，绝不存储 API 密钥），或作为 CLI + FastAPI 服务进行自托管。

为什么它很重要

• 许多廉价的中继服务声称提供最新的 LLM，但往往会降级模型、删减功能（PDF 阅读、工具使用、函数调用、长上下文窗口）或返回破坏客户端代码的格式错误响应。
• Veridrop 运行一系列探测请求，将回复与官方 API 基准进行比较，并生成一份评分报告，指出：
  1. 真实性 – 中继是否真的转发给了宣传的模型？
  2. 功能性 – 高级功能是否被隐藏？
  3. 合规性 – 字段、流式事件和使用量计算是否遵循官方规范？

运作原理

• 基准收集 – bench.sh 可以从官方 Anthropic、OpenAI 或 Gemini 端点获取参考响应（存储在 data/baselines/ 下）。
• 探测器 – 针对协议的探测器模块（Claude 11, OpenAI 8, Gemini 7）发出目标请求（例如：PDF-in-base64 负载、函数调用架构、长上下文“大海捞针”token 突发），并检查：
  • Claude 的 thinking 区块中的加密 signature（无法伪造）
  • 模型特定字段、使用指纹、ID 前缀、流式 SSE 序列等的存在。
• 评分 – 每个探测器返回一个分数和权重；总分是加权平均值。关键失败（例如：缺少签名、删减 PDF 处理）会将最终判定限制为 marginal，即使总分很高。
• 报告 – JSON 输出加上人类可读的 HTML 页面和可分享的 JPG 卡片。网页 UI 还会将公开报告汇总到排行榜中。

安装 / 自托管

git clone https://github.com/canarybyte/veridrop.git
cd veridrop
python3 -m venv venv
./venv/bin/pip install -e ".[dev,web]"
# 在本地运行 API
./venv/bin/uvicorn web.server:app --host 0.0.0.0 --port 8000

• CLI (relay-detector) 支持三种模式：
  • quick (5 个核心检查，约 15 秒，约 $0.005)
  • standard (8 个检查，约 40 秒，约 $0.012)
  • full (全部 11 个检查，约 70 秒，约 $0.020) – 基准比较所需。
• CLI 使用示例：

# ping 一个中继
./venv/bin/relay-detector ping --model claude-haiku-4-5
# 完整探测
./venv/bin/relay-detector detect \
  --model claude-haiku-4-5 --mode full -o out.json
# 与官方基准比较
./venv/bin/relay-detector compare out.json

主要功能

• 加密验证：通过 thinking_signature 字段（Anthropic 独有）对 Claude 进行验证。
• 长上下文探测：通过多阶段 token 突发来捕捉“宣传 1M token 但实际只有 200k”的情况。
• 功能检查：针对 PDF 提取、工具使用、函数调用、结构化输出和流式合规性的检查。
• 公开排行榜：显示数千个中继的汇总分数。
• 隐私优先 – API 密钥仅存在于内存中；报告会自动遮蔽密钥。

授权

• AGPL-3.0-or-later。个人、研究或内部使用免费。运行向他人提供服务的公开 SaaS 需要将任何修改开源（AGPL 的网络使用条款）。

谁会使用它

• 依赖第三方中继端点并需要确保获得所付费模型的开发者。
• 希望审核向用户公开的中继的平台运营商。
• 调查欺诈性 AI-API 服务的安全/研究团队。
• 在交出 API 密钥之前，对中继的真实功能和合规性感到好奇的任何人。