toby-bridges/api-relay-audit

Local security audit for AI API relays and LLM proxies: detects prompt injection, model substitution, tool-call rewriting, SSE anomalies, error leakage, and Web3 wallet risks. Website: https://apirelayaudit.com

API Relay Audit – AI API リレーと LLM プロキシのローカルセキュリティ監査

概要

API Relay Audit は、Python ベースのゼロ依存コマンドラインツールで、実際のトラフィックを送信する前に、サードパーティの AI API リレー(LLM プロキシとも呼ばれる)をテストできます。完全にあなたのマシン上で実行され、API キーを指定したリレー URL にのみ送信し、疑わしい動作をフラグ付けする人間が読める Markdown(または JSON)レポートを生成します。

なぜ重要か

Anthropic や OpenAI などの AI プロバイダーは、リクエストを転送する非公式の「リレー」サービスを通じてアクセスされることが増えています。これらのリレーは以下を行う可能性があります:

  • 隠れたプロンプトや指示を注入する、
  • 送信したコンテキストを切り詰めたり書き換えたりする、
  • 基盤となるモデルを交換する、または
  • エラーメッセージで資格情報を漏洩する。 このツールは、悪意のあるリレーがキーを収集することを示す最近の研究(例:Your Agent Is Mine 論文)や脅威レポートに動機付けられています。

コア機能(README に記載の通り)

機能 説明
14 ステップ監査 プロンプトインジェクション、コンテキストの切り詰め、ツール呼び出しの書き換え、SSE ストリームの整合性、モデル ID シグナル、および(オプションで)Web3 ウォレットの安全性をチェックする一連のプローブを実行します。
プロファイル general(デフォルト)、web3(ウォレット関連チェック)、full(両方)。
出力形式 Markdown レポート(デフォルト)で、ステップごとの証拠と LOW/MEDIUM/HIGH リスクサマリーを提供;自動化用の --format json。
ゼロ依存スクリプト Python と curl のみを必要とする単一の audit.py ファイル。
DeepSeek Harness プラグイン DeepSeek Harness TUI 用に dsh-api-relay-audit としてインストール可能で、同じ監査ロジックを再利用します。
エージェントスキル互換性 OpenClaw および Hermes エージェント用のスキルファイルにより、これらのエージェントがローカルで監査を呼び出せます。
証拠の境界 ツールはシグナル(例:モデルの自己識別、レイテンシ)を記録しますが、それらを悪意のあるリレーの証拠ではなく シグナル として明確にマークします。
安全性の保証 リレーを安全として認定しません;結論が出ない結果は表示され、手動レビューが依然として必要です。

使用方法(クイックスタート)

# 正確なリリーススクリプトを取得
AUDIT_SCRIPT_REF=v2.5.0
curl -fsSL "https://raw.githubusercontent.com/toby-bridges/api-relay-audit/${AUDIT_SCRIPT_REF}/audit.py" -o audit.py

# 基本監査を実行
python audit.py --key <YOUR_KEY> --url <RELAY_URL> --output report.md

# Web3 チェックを含める
python audit.py --key <YOUR_KEY> --url <RELAY_URL> --profile web3 --output report.md

CI パイプラインでは JSON 出力を要求できます:

python audit.py --key-env API_RELAY_AUDIT_KEY --url <RELAY_URL> \
    --format json --output report.json

必要な場面

  • サードパーティの Claude 互換または OpenAI 互換プロキシに依存しており、本番使用前に再現可能なローカル監査が必要な場合。
  • ツール使用や Web3 トランザクションのためにリレーを呼び出す自律エージェントを構築している場合。
  • セキュリティレビューやバグ報奨金レポートの証拠を生成するスクリプト可能な方法が必要な場合。

これしないこと

  • 正式な安全認定ではありません。
  • リレーがクリーンであることを保証できません;結論が出ないプローブは表示されたままです。
  • 継続的な監視や手動コードレビューを置き換えるものではありません。

プロジェクトの健全性(README 時点)

  • 最新リリース:v2.5.0
  • 14 の監査ステップ、23 の CLI フラグ、885 の pytest 収集テスト。
  • AGPL-3.0-only ライセンス(ソースはオープンに保つ必要があります)。
  • アクティブなドキュメントサイト、サンプルレポート、コントリビューションガイド。

上記の詳細はすべてリポジトリの README から直接取得したものであり、追加機能は推測されていません。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト