Ikaleio/lm-detector

해결하는 문제

이 프로젝트는 타사 API 제공업체에서 발생하는 "모델 교체(model swapping)" 문제를 해결합니다. 특정 대규모 언어 모델(LLM)을 제공한다고 주장하는 API가 실제로 해당 모델을 제공하는지, 아니면 다른 모델로 교체되었는지 사용자가 검증할 수 있도록 돕습니다.

작동 원리

비의미론적 "지문(fingerprinting)" 기술을 사용합니다. 이 도구는 LLM에게 1에서 355 사이의 정수 약 300개를 생성하도록 요청합니다. LLM은 "난수"를 생성할 때 고유한 편향을 가지고 있기 때문에, 이러한 출력값은 특정 모델 제품군에만 고유한 안정적인 수치 분포를 형성합니다. 탐지기는 이 분포를 알려진 모델의 참조 데이터베이스와 비교하여 가장 가능성이 높은 후보를 식별합니다. 선택적으로 토크나이저 프로빙을 수행하여 모델이 텍스트를 어떻게 분해하는지 분석함으로써 부차적인 증거를 추가로 제공할 수도 있습니다.

대상 사용자

타사 API 애그리게이터나 "모델 중계소"를 이용하며, 자신이 비용을 지불하거나 사용하는 모델의 진위 여부를 확인하고자 하는 개발자, 연구원 및 사용자들을 위한 도구입니다.

주요 특징

• 멀티 프로토콜 지원: OpenAI, Chat Completions 및 Anthropic Messages 형식을 지원합니다.
• 듀얼 인터페이스: 웹 기반 대시보드와 배치 테스트 및 로컬 데이터 관리를 위한 명령줄 인터페이스(CLI)를 모두 제공합니다.
• 확장 가능한 데이터베이스: GPT, Claude, Gemini, Grok, Qwen, DeepSeek와 같은 주요 모델의 참조 라이브러리를 포함하며, 로컬에서 샘플링하고 탐지기를 재학습할 수 있는 도구를 제공합니다.
• 개인정보 보호: 프로젝트 자체 서버에 의존하지 않도록 직접적인 API 연결, 브라우저 기반 요청 또는 자체 호스팅된 Cloudflare Worker 프록시를 지원합니다.