canarybyte/veridrop

해결하는 문제

Veridrop은 "가짜" AI API 리레이 서비스 또는 프록시 서비스의 문제를 해결합니다. 많은 제3자 제공업체들이 Claude, GPT, Gemini와 같은 고성능 모델에 대한 접근을 제공한다고 주장하지만, 실제로는 비용 절감을 위해 저렴하고 작은 모델로 요청을 리디렉션하거나 고급 기능을 제거하고 있을 수 있습니다. Veridrop은 리레이가 진짜인지, 공식 API 사양에 준수하는지, 그리고 주장한 기능을 실제로 제공하는지 확인할 수 있는 방법을 제공합니다.

작동 방식

이 도구는 base_url, api_key, model 이름을 받아 일련의 프로브 요청을 실행합니다. 그런 다음 실제 제공업체에서 얻은 "공식 기준"(검증된 응답)과 응답을 세 가지 수준에서 비교합니다:

• 필드 수준: 응답 필드와 ID가 공식 형식과 일치하는지 확인.
• 프로토콜 수준: 스트리밍 이벤트 시퀀스와 SSE(Server-Sent Events) 준수 여부를 검증.
• 암호 수준: Claude의 경우, 사고 블록 내의 signature 필드를 특별히 검증하여 리레이가 위조하기 거의 불가능한 수준에서 검증.

또한 "바늘 속 헤어스택" 테스트를 포함하여, 주장한 긴 컨텍스트 창이 실제로 사용 가능한지, 또는 입력이 조용히 자르고 있는지 확인합니다.

대상 사용자

• 개발자 및 사용자: 제3자 리레이 서비스에서 API 접근권을 구매하고, 속임수를 당하지 않았는지 확인하고 싶은 사람.
• 서비스 제공업체: 투명한 오픈소스 증거를 통해 자사 리레이 서비스의 진정성과 품질을 입증하고 싶은 사람.

주요 특징

• 암호 검증: Anthropic의 사고 서명을 사용하여 Claude 모델의 진정성을 수학적으로 입증.
• 컨텍스트 창 테스트: 다층 프로브를 활용해 "고급 모델 사기"를 탐지. 대용량 컨텍스트를 주장하지만 실제로는 훨씬 작은 것을 제공하는 경우를 탐지.
• 다중 프로토콜 지원: Anthropic Messages API, OpenAI Chat Completions, Gemini의 OpenAI 호환 API를 지원.
• 개인정보 우선: 호스팅된 버전은 API 키를 디스크에 저장하지 않으며, 등록도 필요하지 않습니다.
• 상세한 점수 시스템: 중대, 주요, 경미한 불일치를 기반으로 가중치 점수와 평가(합격, 약간 불일치, 실패)를 제공.