chen-006/meow-llm-detector

해결하는 문제

이 도구는 사용자가 특정 API 엔드포인트를 실제로 구동하는 LLM이 무엇인지 식별하는 데 도움을 줍니다. 서비스 제공자가 특정 모델(예: GPT-4)을 제공한다고 주장하면서 실제로는 더 저렴하거나 다른 모델로 요청을 라우팅하는 'API 스푸핑' 또는 라우팅 문제를 해결합니다.

작동 방식

탐지기는 API에 일련의 짧고 구체적인 질문을 보냅니다. 그런 다음 수신된 답변의 분포를 GPT 및 Claude와 같은 알려진 모델에 대한 내장 벤치마크(기준선) 세트와 비교합니다. 서로 다른 모델이 동일한 개방형 프롬프트에 대해 서로 다른 답변을 선택하는 경향이 있기 때문에, 이 도구는 어떤 모델의 응답 패턴이 대상 API와 가장 일치하는지 결정할 수 있습니다.

대상 사용자

LLM API 제공업체의 진위 여부를 확인하려는 사용자와 자신이 비용을 지불한 모델을 제공받고 있는지 확인하려는 개발자를 위한 도구입니다.

주요 특징

• 내장 벤치마크: 다양한 GPT 및 Claude 버전에 대해 미리 수집된 기준선을 포함합니다.
• 사용자 정의 테스트: 사용자는 낮음, 중간, 높음 강도 테스트(20, 50 또는 100개 요청) 중에서 선택할 수 있습니다.
• 로컬 실행: 프로그램은 사용자의 머신에서 로컬로 실행되어 API 키가 안전하게 처리되도록 보장합니다.
• 벤치마크 생성: 사용자가 새 테스트 질문을 수동으로 입력, 가져오기하거나 AI를 사용하여 생성하고 신뢰할 수 있는 API에서 샘플링할 수 있습니다.
• 크로스 플랫폼 지원: Python 3.11+를 통해 Windows, macOS 및 Linux와 호환됩니다.