toby-bridges/api-relay-audit

Local security audit for AI API relays and LLM proxies: detects prompt injection, model substitution, tool-call rewriting, SSE anomalies, error leakage, and Web3 wallet risks. Website: https://apirelayaudit.com

API Relay Audit – AI API 릴레이 및 LLM 프록시를 위한 로컬 보안 감사

개요

API Relay Audit은 Python 기반의 제로 의존성 명령줄 도구로, 실제 트래픽을 보내기 전에 타사 AI API 릴레이(LLM 프록시라고도 함)를 테스트할 수 있습니다. 전적으로 사용자 머신에서 실행되며, API 키를 지정한 릴레이 URL에만 보내고, 의심스러운 동작을 표시하는 사람이 읽을 수 있는 Markdown(또는 JSON) 보고서를 생성합니다.

왜 중요한가

Anthropic이나 OpenAI와 같은 AI 제공업체는 요청을 전달하는 비공식 "릴레이" 서비스를 통해 점점 더 많이 액세스됩니다. 이러한 릴레이는 다음을 수행할 수 있습니다:

  • 숨은 프롬프트나 지침을 주입하거나,
  • 보낸 컨텍스트를 잘라내거나 다시 쓰거나,
  • 기본 모델을 교체하거나,
  • 오류 메시지에서 자격 증명을 유출할 수 있습니다. 이 도구는 악성 릴레이가 키를 수집한다는 최근 연구(예: Your Agent Is Mine 논문) 및 위협 보고서에서 동기를 얻었습니다.

핵심 기능(README에 설명된 대로)

기능 설명
14단계 감사 프롬프트 주입, 컨텍스트 잘림, 도구 호출 재작성, SSE 스트림 무결성, 모델 ID 신호, 그리고 (선택적으로) Web3 지갑 안전성을 확인하는 고정된 프로브 시퀀스를 실행합니다.
프로필 general(기본값), web3(지갑 관련 검사), full(둘 다).
출력 형식 각 단계의 증거와 LOW/MEDIUM/HIGH 위험 요약이 포함된 Markdown 보고서(기본값); 자동화를 위한 --format json.
제로 의존성 스크립트 Python과 curl만 필요한 단일 audit.py 파일.
DeepSeek Harness 플러그인 DeepSeek Harness TUI용 dsh-api-relay-audit로 설치 가능하며, 동일한 감사 로직을 재사용합니다.
에이전트 스킬 호환성 OpenClaw 및 Hermes 에이전트용 스킬 파일을 통해 이러한 에이전트가 로컬에서 감사를 호출할 수 있습니다.
증거 경계 도구는 신호(예: 모델 자기 식별, 지연 시간)를 기록하지만, 악성 릴레이의 증거가 아닌 신호로 명확히 표시합니다.
안전 보장 릴레이를 안전하다고 인증하지 않습니다; 결정적이지 않은 결과는 표시되며, 수동 검토가 여전히 필요합니다.

사용 방법(빠른 시작)

# 정확한 릴리스 스크립트 가져오기
AUDIT_SCRIPT_REF=v2.5.0
curl -fsSL "https://raw.githubusercontent.com/toby-bridges/api-relay-audit/${AUDIT_SCRIPT_REF}/audit.py" -o audit.py

# 기본 감사 실행
python audit.py --key <YOUR_KEY> --url <RELAY_URL> --output report.md

# Web3 검사 포함
python audit.py --key <YOUR_KEY> --url <RELAY_URL> --profile web3 --output report.md

CI 파이프라인의 경우 JSON 출력을 요청할 수 있습니다:

python audit.py --key-env API_RELAY_AUDIT_KEY --url <RELAY_URL> \
    --format json --output report.json

필요한 경우

  • 타사 Claude 호환 또는 OpenAI 호환 프록시에 의존하고 있으며, 프로덕션 사용 전에 반복 가능한 로컬 감사가 필요한 경우.
  • 도구 사용이나 Web3 트랜잭션을 위해 릴레이를 호출할 자율 에이전트를 구축하는 경우.
  • 보안 검토나 버그 바운티 보고서에 대한 증거를 생성하는 스크립트 가능한 방법이 필요한 경우.

하지 않는 일

  • 공식적인 안전 인증이 아닙니다.
  • 릴레이가 깨끗하다고 보장할 수 없습니다; 결정적이지 않은 프로브는 표시된 채로 남습니다.
  • 지속적인 모니터링이나 수동 코드 검토를 대체하지 않습니다.

프로젝트 상태(README 기준)

  • 최신 릴리스: v2.5.0
  • 14개의 감사 단계, 23개의 CLI 플래그, 885개의 pytest 수집 테스트.
  • AGPL-3.0-only 라이선스(소스는 계속 공개되어야 함).
  • 활성 문서 사이트, 예제 보고서, 기여 가이드.

위의 모든 세부 사항은 저장소의 README에서 직접 가져온 것이며, 추가 기능은 추론되지 않았습니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트