toby-bridges/api-relay-audit
Local security audit for AI API relays and LLM proxies: detects prompt injection, model substitution, tool-call rewriting, SSE anomalies, error leakage, and Web3 wallet risks. Website: https://apirelayaudit.com
API Relay Audit – AI API リレーと LLM プロキシのローカルセキュリティ監査
概要
API Relay Audit は、Python ベースのゼロ依存コマンドラインツールで、実際のトラフィックを送信する前に、サードパーティの AI API リレー(LLM プロキシとも呼ばれる)をテストできます。完全にあなたのマシン上で実行され、API キーを指定したリレー URL にのみ送信し、疑わしい動作をフラグ付けする人間が読める Markdown(または JSON)レポートを生成します。
なぜ重要か
Anthropic や OpenAI などの AI プロバイダーは、リクエストを転送する非公式の「リレー」サービスを通じてアクセスされることが増えています。これらのリレーは以下を行う可能性があります:
- 隠れたプロンプトや指示を注入する、
- 送信したコンテキストを切り詰めたり書き換えたりする、
- 基盤となるモデルを交換する、または
- エラーメッセージで資格情報を漏洩する。 このツールは、悪意のあるリレーがキーを収集することを示す最近の研究(例:Your Agent Is Mine 論文)や脅威レポートに動機付けられています。
コア機能(README に記載の通り)
| 機能 | 説明 |
|---|---|
| 14 ステップ監査 | プロンプトインジェクション、コンテキストの切り詰め、ツール呼び出しの書き換え、SSE ストリームの整合性、モデル ID シグナル、および(オプションで)Web3 ウォレットの安全性をチェックする一連のプローブを実行します。 |
| プロファイル | general(デフォルト)、web3(ウォレット関連チェック)、full(両方)。 |
| 出力形式 | Markdown レポート(デフォルト)で、ステップごとの証拠と LOW/MEDIUM/HIGH リスクサマリーを提供;自動化用の --format json。 |
| ゼロ依存スクリプト | Python と curl のみを必要とする単一の audit.py ファイル。 |
| DeepSeek Harness プラグイン | DeepSeek Harness TUI 用に dsh-api-relay-audit としてインストール可能で、同じ監査ロジックを再利用します。 |
| エージェントスキル互換性 | OpenClaw および Hermes エージェント用のスキルファイルにより、これらのエージェントがローカルで監査を呼び出せます。 |
| 証拠の境界 | ツールはシグナル(例:モデルの自己識別、レイテンシ)を記録しますが、それらを悪意のあるリレーの証拠ではなく シグナル として明確にマークします。 |
| 安全性の保証 | リレーを安全として認定しません;結論が出ない結果は表示され、手動レビューが依然として必要です。 |
使用方法(クイックスタート)
# 正確なリリーススクリプトを取得
AUDIT_SCRIPT_REF=v2.5.0
curl -fsSL "https://raw.githubusercontent.com/toby-bridges/api-relay-audit/${AUDIT_SCRIPT_REF}/audit.py" -o audit.py
# 基本監査を実行
python audit.py --key <YOUR_KEY> --url <RELAY_URL> --output report.md
# Web3 チェックを含める
python audit.py --key <YOUR_KEY> --url <RELAY_URL> --profile web3 --output report.md
CI パイプラインでは JSON 出力を要求できます:
python audit.py --key-env API_RELAY_AUDIT_KEY --url <RELAY_URL> \
--format json --output report.json
必要な場面
- サードパーティの Claude 互換または OpenAI 互換プロキシに依存しており、本番使用前に再現可能なローカル監査が必要な場合。
- ツール使用や Web3 トランザクションのためにリレーを呼び出す自律エージェントを構築している場合。
- セキュリティレビューやバグ報奨金レポートの証拠を生成するスクリプト可能な方法が必要な場合。
これしないこと
- 正式な安全認定ではありません。
- リレーがクリーンであることを保証できません;結論が出ないプローブは表示されたままです。
- 継続的な監視や手動コードレビューを置き換えるものではありません。
プロジェクトの健全性(README 時点)
- 最新リリース:v2.5.0
- 14 の監査ステップ、23 の CLI フラグ、885 の pytest 収集テスト。
- AGPL-3.0-only ライセンス(ソースはオープンに保つ必要があります)。
- アクティブなドキュメントサイト、サンプルレポート、コントリビューションガイド。
上記の詳細はすべてリポジトリの README から直接取得したものであり、追加機能は推測されていません。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト