chen-006/meow-llm-detector

它解决了什么问题

此工具帮助用户识别特定 API 端点实际由哪个大语言模型（LLM）提供服务。它解决了所谓的「API 伪装」或路由问题，即服务提供商可能声称提供某一模型（例如 GPT-4），但实际上将请求路由到更便宜或不同的模型。

它如何工作

检测器向 API 发送一系列简短且特定的问题。然后，它将收到的答案分布与一组内置基准（基线）进行比较，这些基准针对已知模型（如 GPT 和 Claude）预先设定。由于不同模型对同一开放性提示往往会给出不同的答案，该工具能够判断哪个模型的响应模式与目标 API 最为匹配。

适用人群

希望验证 LLM API 服务提供商真实性的用户，以及希望确保自己获得所支付模型的开发者。

主要特点

• 内置基准：包含多种 GPT 和 Claude 版本的预收集基线。
• 可自定义测试强度：用户可选择低、中、高强度测试（分别发送 20、50 或 100 次请求）。
• 本地运行：程序在用户本地机器上执行，确保 API 密钥的安全处理。
• 基准生成：支持用户手动输入、导入或使用 AI 生成新的测试问题，并从可信 API 中采样。
• 跨平台支持：通过 Python 3.11+ 兼容 Windows、macOS 和 Linux。

该工具通过分析响应分布来识别模型，是验证 LLM API 真实性的可靠手段 — @handle