toby-bridges/api-relay-audit
Local security audit for AI API relays and LLM proxies: detects prompt injection, model substitution, tool-call rewriting, SSE anomalies, error leakage, and Web3 wallet risks. Website: https://apirelayaudit.com
API Relay Audit – AI API 릴레이 및 LLM 프록시를 위한 로컬 보안 감사
개요
API Relay Audit은 Python 기반의 제로 의존성 명령줄 도구로, 실제 트래픽을 보내기 전에 타사 AI API 릴레이(LLM 프록시라고도 함)를 테스트할 수 있습니다. 전적으로 사용자 머신에서 실행되며, API 키를 지정한 릴레이 URL에만 보내고, 의심스러운 동작을 표시하는 사람이 읽을 수 있는 Markdown(또는 JSON) 보고서를 생성합니다.
왜 중요한가
Anthropic이나 OpenAI와 같은 AI 제공업체는 요청을 전달하는 비공식 "릴레이" 서비스를 통해 점점 더 많이 액세스됩니다. 이러한 릴레이는 다음을 수행할 수 있습니다:
- 숨은 프롬프트나 지침을 주입하거나,
- 보낸 컨텍스트를 잘라내거나 다시 쓰거나,
- 기본 모델을 교체하거나,
- 오류 메시지에서 자격 증명을 유출할 수 있습니다. 이 도구는 악성 릴레이가 키를 수집한다는 최근 연구(예: Your Agent Is Mine 논문) 및 위협 보고서에서 동기를 얻었습니다.
핵심 기능(README에 설명된 대로)
| 기능 | 설명 |
|---|---|
| 14단계 감사 | 프롬프트 주입, 컨텍스트 잘림, 도구 호출 재작성, SSE 스트림 무결성, 모델 ID 신호, 그리고 (선택적으로) Web3 지갑 안전성을 확인하는 고정된 프로브 시퀀스를 실행합니다. |
| 프로필 | general(기본값), web3(지갑 관련 검사), full(둘 다). |
| 출력 형식 | 각 단계의 증거와 LOW/MEDIUM/HIGH 위험 요약이 포함된 Markdown 보고서(기본값); 자동화를 위한 --format json. |
| 제로 의존성 스크립트 | Python과 curl만 필요한 단일 audit.py 파일. |
| DeepSeek Harness 플러그인 | DeepSeek Harness TUI용 dsh-api-relay-audit로 설치 가능하며, 동일한 감사 로직을 재사용합니다. |
| 에이전트 스킬 호환성 | OpenClaw 및 Hermes 에이전트용 스킬 파일을 통해 이러한 에이전트가 로컬에서 감사를 호출할 수 있습니다. |
| 증거 경계 | 도구는 신호(예: 모델 자기 식별, 지연 시간)를 기록하지만, 악성 릴레이의 증거가 아닌 신호로 명확히 표시합니다. |
| 안전 보장 | 릴레이를 안전하다고 인증하지 않습니다; 결정적이지 않은 결과는 표시되며, 수동 검토가 여전히 필요합니다. |
사용 방법(빠른 시작)
# 정확한 릴리스 스크립트 가져오기
AUDIT_SCRIPT_REF=v2.5.0
curl -fsSL "https://raw.githubusercontent.com/toby-bridges/api-relay-audit/${AUDIT_SCRIPT_REF}/audit.py" -o audit.py
# 기본 감사 실행
python audit.py --key <YOUR_KEY> --url <RELAY_URL> --output report.md
# Web3 검사 포함
python audit.py --key <YOUR_KEY> --url <RELAY_URL> --profile web3 --output report.md
CI 파이프라인의 경우 JSON 출력을 요청할 수 있습니다:
python audit.py --key-env API_RELAY_AUDIT_KEY --url <RELAY_URL> \
--format json --output report.json
필요한 경우
- 타사 Claude 호환 또는 OpenAI 호환 프록시에 의존하고 있으며, 프로덕션 사용 전에 반복 가능한 로컬 감사가 필요한 경우.
- 도구 사용이나 Web3 트랜잭션을 위해 릴레이를 호출할 자율 에이전트를 구축하는 경우.
- 보안 검토나 버그 바운티 보고서에 대한 증거를 생성하는 스크립트 가능한 방법이 필요한 경우.
하지 않는 일
- 공식적인 안전 인증이 아닙니다.
- 릴레이가 깨끗하다고 보장할 수 없습니다; 결정적이지 않은 프로브는 표시된 채로 남습니다.
- 지속적인 모니터링이나 수동 코드 검토를 대체하지 않습니다.
프로젝트 상태(README 기준)
- 최신 릴리스: v2.5.0
- 14개의 감사 단계, 23개의 CLI 플래그, 885개의 pytest 수집 테스트.
- AGPL-3.0-only 라이선스(소스는 계속 공개되어야 함).
- 활성 문서 사이트, 예제 보고서, 기여 가이드.
위의 모든 세부 사항은 저장소의 README에서 직접 가져온 것이며, 추가 기능은 추론되지 않았습니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트