hanlinwenyuan/hlwy-ai-checker

hlwy‑ai‑checker – 功能简介

目的 – 这是一个本地运行的工具，让您可以比较官方 LLM API（例如 OpenAI）与第三方“转售”API 的行为。通过向两个端点发送大量相同的提示词并分析响应的统计分布，该程序会为每个服务生成一个指纹。如果指纹差异过大，该工具会将第三方管道标记为可能已被更改或“伪造”。

重要性 – 许多公司会重新包装大型语言模型 API 并以自己的密钥进行销售。用户可能希望在不将 API 密钥或数据暴露给互联网的情况下，验证他们所付费的服务是否确实运行与官方提供者相同的模型。

---

如何使用

1. 下载 Releases 页面中的最新版 ZIP 文件并解压缩。
2. 运行 python start.py。
3. 自动模式 – 一键测试，并附带可选的“反目标”开关（README 中的截图显示了 UI）。
4. 手动模式 –
   • 输入官方 API 密钥和基础 URL（必须包含 /v1）。
   • 输入第三方 API 密钥和基础 URL，选择您校准时使用的相同模型，然后开始测试。
5. 测试完成后，UI 会显示相似度分数、统计图表和 Token 使用量。

---

主要功能

功能	说明
统计指纹识别	对相同提示词进行重复采样，揭示细微的偏差（训练数据、分词器、采样参数），这些偏差就像模型的“签名”。
高辨识度	截图显示该工具可以清楚区分真实与被更改的端点。
低 Token 消耗	设计目标是在尽可能减少 Token 使用量的同时，收集足够的数据以获得可靠的指纹。
校准后自适应	您先在官方端点上进行校准；随后将相同的设置应用于第三方端点，以提高可比性。
仅限本地执行	除了 API 请求本身外，没有其他网络调用，因此您的密钥和测试数据永远不会离开您的机器。

---

底层原理（如 README 中所述）

• 大型语言模型并非纯粹的随机生成器。它们的“随机”输出受到训练数据、架构、RLHF 对齐、分词和采样设置的影响。
• 通过发送大量提示词并收集答案的分布，您可以建立一个统计“指纹”。
• 将第三方服务的指纹与从官方服务获得的指纹进行比较，可以判断两者行为是否相同。
• 该方法是统计性的，而非取证性的 – 结果取决于模型版本、样本数量、网络稳定性等，不能作为法律证据。

---

限制与免责声明

• 结果仅供参考；它们无法明确证明第三方 API 使用了不同的模型。
• 模型本身的随机性和网络问题可能会影响相似度分数。
• 作者对于因本工具输出而产生的商业纠纷不承担任何责任。

---

谁会觉得这很有用？

• 从转售商购买 LLM 访问权限并希望进行低成本健全性检查的开发人员或公司。
• 对暴露 API 密钥持谨慎态度的安全导向用户。
• 对模型层级指纹识别技术感兴趣的研究人员。

---

快速入门清单

1. 已安装 Python（仓库未列出依赖项，但可能需要 requests/httpx 以及 GUI 库，如 tkinter 或 PyQt）。
2. 官方 API 密钥和基础 URL（例如 https://api.openai.com/v1）。
3. 第三方 API 密钥和基础 URL。
4. 运行脚本并按照屏幕上的提示操作。

---

简而言之： hlwy‑ai‑checker 是一个小众的本地运行工具，用于统计比较官方与第三方 LLM API 的输出模式，帮助用户在保护凭证隐私的同时，检测潜在的篡改或模型替换行为。