canarybyte/veridrop

Veridrop – AI-API 릴레이(프록시) 서비스용 오픈 소스 검사 도구

소개

• Claude, OpenAI 또는 Gemini를 위한 타사 "릴레이" 또는 프록시가 실제로 광고된 모델로 요청을 전달하고 모델의 전체 기능을 유지하는지 검증하는 Python 기반 도구입니다.
• 공개 웹 UI veridrop.app(가입 불필요, API 키는 절대 저장되지 않음)을 통해 사용하거나 CLI + FastAPI 서비스로 자체 호스팅할 수 있습니다.

중요성

• 많은 저가형 릴레이 서비스가 최신 LLM을 제공한다고 주장하지만, 실제로는 모델을 다운그레이드하거나 기능을 제거(PDF 읽기, 도구 사용, 함수 호출, 긴 컨텍스트 창)하거나 클라이언트 코드를 손상시키는 잘못된 응답을 반환하는 경우가 많습니다.
• Veridrop은 일련의 프로브 요청을 실행하고 응답을 공식 API 기준과 비교하여 다음을 나타내는 점수 보고서를 생성합니다:
  1. 진위 여부 – 릴레이가 실제로 광고된 모델로 전달하고 있는가?
  2. 기능성 – 고급 기능이 숨겨져 있는가?
  3. 규정 준수 – 필드, 스트리밍 이벤트 및 사용량 계산이 공식 사양을 따르는가?

작동 원리

• 기준 수집 – bench.sh를 사용하여 공식 Anthropic, OpenAI 또는 Gemini 엔드포인트에서 참조 응답을 가져올 수 있습니다(data/baselines/에 저장).
• 탐지기 – 프로토콜별 탐지기 모듈(Claude 11, OpenAI 8, Gemini 7)이 대상 요청(예: PDF-in-base64 페이로드, 함수 호출 스키마, 긴 컨텍스트 "건초 더미 속 바늘" 토큰 버스트)을 발행하고 다음을 검사합니다:
  • Claude의 thinking 블록 내 암호화된 signature(위조 불가)
  • 모델별 필드, 사용 지문, ID 접두사, 스트리밍 SSE 시퀀스 등의 존재 여부.
• 점수 산정 – 각 탐지기가 점수와 가중치를 반환하며, 전체 점수는 가중 평균입니다. 치명적인 실패(예: 서명 누락, PDF 처리 제거)가 발생하면 총점이 높아도 최종 판정은 marginal로 제한됩니다.
• 보고서 – JSON 출력과 사람이 읽을 수 있는 HTML 페이지 및 공유 가능한 JPG 카드를 생성합니다. 웹 UI는 공개 보고서를 리더보드에 집계합니다.

설치 / 자체 호스팅

git clone https://github.com/canarybyte/veridrop.git
cd veridrop
python3 -m venv venv
./venv/bin/pip install -e ".[dev,web]"
# 로컬에서 API 실행
./venv/bin/uvicorn web.server:app --host 0.0.0.0 --port 8000

• CLI(relay-detector)는 세 가지 모드를 지원합니다:
  • quick (5개 핵심 검사, 약 15초, 약 $0.005)
  • standard (8개 검사, 약 40초, 약 $0.012)
  • full (전체 11개 검사, 약 70초, 약 $0.020) – 기준 비교에 필요.
• CLI 사용 예시:

# 릴레이 핑 테스트
./venv/bin/relay-detector ping --model claude-haiku-4-5
# 전체 탐지
./venv/bin/relay-detector detect \
  --model claude-haiku-4-5 --mode full -o out.json
# 공식 기준과 비교
./venv/bin/relay-detector compare out.json

주요 기능

• 암호화 검증: thinking_signature 필드(Anthropic 고유)를 통한 Claude 검증.
• 긴 컨텍스트 프로빙: 다단계 토큰 버스트를 통해 "1M 토큰 광고지만 실제로는 200k"인 경우를 포착.
• 기능 검사: PDF 추출, 도구 사용, 함수 호출, 구조화된 출력 및 스트리밍 규정 준수 검사.
• 공개 리더보드: 수천 개의 릴레이에 대한 집계 점수 표시.
• 개인정보 보호 우선 – API 키는 메모리에만 존재하며, 보고서는 자동으로 키를 마스킹합니다.

라이선스

• AGPL-3.0-or-later. 개인, 연구 또는 내부 사용은 무료입니다. 타인에게 서비스를 제공하는 공개 SaaS를 운영하려면 수정 사항을 오픈 소스로 공개해야 합니다(AGPL의 네트워크 사용 조항).

대상 사용자

• 타사 릴레이 엔드포인트에 의존하며 지불한 모델을 제대로 받고 있는지 확인해야 하는 개발자.
• 사용자에게 노출하는 릴레이를 감사하려는 플랫폼 운영자.
• 사기성 AI-API 서비스를 조사하는 보안/연구 팀.
• API 키를 제공하기 전에 릴레이의 실제 기능과 규정 준수 여부를 알고 싶은 모든 사람.