toby-bridges/api-relay-audit
Local security audit for AI API relays and LLM proxies: detects prompt injection, model substitution, tool-call rewriting, SSE anomalies, error leakage, and Web3 wallet risks. Website: https://apirelayaudit.com
API Relay Audit – AI API 中继和 LLM 代理的本地安全审计
它是什么
API Relay Audit 是一个基于 Python 的零依赖命令行工具,让你在向第三方 AI API 中继(也称为 LLM 代理)发送真实流量之前对其进行测试。它完全在你的机器上运行,仅将你的 API 密钥发送到你指定的中继 URL,并生成人类可读的 Markdown(或 JSON)报告,标记可疑行为。
为什么重要
诸如 Anthropic 或 OpenAI 等 AI 提供商越来越多地通过非官方的“中继”服务来转发请求。这些中继可能:
- 注入隐藏提示或指令,
- 截断或重写你发送的上下文,
- 替换底层模型,或
- 在错误消息中泄露凭据。 该工具受到近期研究(例如 Your Agent Is Mine 论文)和威胁报告的启发,这些报告显示恶意中继会窃取密钥。
核心功能(如 README 中所述)
| 功能 | 作用 |
|---|---|
| 14 步审计 | 运行固定序列的探测,检查提示注入、上下文截断、工具调用重写、SSE 流完整性、模型身份信号,以及(可选)Web3 钱包安全。 |
| 配置文件 | general(默认)、web3(钱包相关检查)和 full(两者)。 |
| 输出格式 | Markdown 报告(默认),包含每步证据和 LOW/MEDIUM/HIGH 风险摘要;--format json 用于自动化。 |
| 零依赖脚本 | 单个 audit.py 文件,仅需 Python 和 curl。 |
| DeepSeek Harness 插件 | 可作为 dsh-api-relay-audit 安装到 DeepSeek Harness TUI,复用相同的审计逻辑。 |
| 代理技能兼容性 | 为 OpenClaw 和 Hermes 代理提供技能文件,使这些代理能够在本地调用审计。 |
| 证据边界 | 工具记录信号(例如模型自我识别、延迟),但明确将其标记为 信号,而非恶意中继的证据。 |
| 安全保证 | 不认证中继为安全;显示不确定的结果,仍需人工审查。 |
如何使用(快速开始)
# 获取确切的发布脚本
AUDIT_SCRIPT_REF=v2.5.0
curl -fsSL "https://raw.githubusercontent.com/toby-bridges/api-relay-audit/${AUDIT_SCRIPT_REF}/audit.py" -o audit.py
# 运行基本审计
python audit.py --key <YOUR_KEY> --url <RELAY_URL> --output report.md
# 包含 Web3 检查
python audit.py --key <YOUR_KEY> --url <RELAY_URL> --profile web3 --output report.md
对于 CI 管道,你可以请求 JSON 输出:
python audit.py --key-env API_RELAY_AUDIT_KEY --url <RELAY_URL> \
--format json --output report.json
何时需要它
- 你依赖第三方 Claude 兼容或 OpenAI 兼容的代理,并希望在投入生产前进行可重复的本地审计。
- 你正在构建一个自主代理,它将调用中继进行工具使用或 Web3 交易。
- 你需要一种可脚本化的方式来为安全审查或漏洞赏金报告生成证据。
它不做什么
- 它不是正式的安全认证。
- 它不能保证中继是干净的;不确定的探测结果会保留可见。
- 它不能替代持续监控或手动代码审查。
项目健康状态(截至 README)
- 最新版本:v2.5.0
- 14 个审计步骤,23 个 CLI 标志,885 个 pytest 收集的测试。
- AGPL-3.0-only 许可证(源代码必须保持开放)。
- 活跃的文档站点、示例报告和贡献指南。
以上所有细节均直接取自仓库的 README;未推断任何额外功能。
相关
- 项目
- 项目
- 项目
- 项目