xqy2006/ModelTrace
主动探测模型归因
ModelTrace – 로컬 모델 귀속 도구
이 도구의 기능
- 특정 응답이 어떤 LLM(예: OpenAI GPT 계열 또는 Anthropic Claude)에 의해 생성되었는지 식별하려는 Python 기반 유틸리티입니다.
- 대상 모델에 세 가지 특별히 제작된 "챌린지" 프롬프트를 보내고, 출력에서 숫자 지문을 추출하여 알려진 모델 지문의 로컬 라이브러리와 비교합니다.
주요 구성 요소
| 파일 / 폴더 | 역할 |
|---|---|
app.py |
http://127.0.0.1:7860/에서 UI를 제공하는 FastAPI/Gradio 웹 서버입니다. |
fingerprint.py |
지문 추출 및 귀속 알고리즘을 구현합니다. |
bank_builder.py |
지문 뱅크(참조 라이브러리)를 구축하고 보정합니다. |
challenge_suite.py |
테스트에 사용되는 세 가지 독립적인 정수 생성 챌린지를 생성합니다. |
enrollment.py |
OpenAI 또는 Anthropic에 대한 API 호출을 처리하고 모델의 답변을 수집하여 나중에 분석할 수 있도록 저장합니다. |
rebuild_unified_bank.py |
개별 뱅크를 단일 전역 뱅크로 병합하여 추론 시 사용합니다. |
static/ & templates/ |
완전히 클라이언트 측에서 실행되는 브라우저 전용 데모를 위한 프런트 엔드 자산입니다. |
data/ |
사전 계산된 지문 뱅크(*_bank.json, unified_bank.json) 및 원시 참조 로그(*_reference.jsonl)를 저장합니다. |
작동 방식
- 챌린지 생성 – 세 가지 결정적 프롬프트가 모델에 긴 정수를 출력하도록 요청합니다. 난수 생성기의 미묘한 편향 때문에 모델 계열에 따라 정확한 숫자가 약간 다릅니다.
- 지문 추출 – 응답은 두 가지 특징으로 변환됩니다:
- 환경별 드리프트를 제거한 후 전역 모델 중심에 대한 헬링거 거리 기반 유사도.
- 순서 블록 숫자 시퀀스 특징.
최종 점수는
0.75 * 헬링거 + 0.25 * 시퀀스입니다.
- 확률 계산 – 모든 후보 모델의 점수는 소프트맥스(온도
β)를 통해 확률 분포로 변환됩니다. 모델 계열 확률은 구성원의 확률을 합산하여 얻습니다. - 결과 – 도구는 계산된 확률과 함께 가장 가능성 있는 모델(및 그 계열)을 보고합니다. 대상 모델이 라이브러리에 없으면 가장 가까운 알려진 모델이 반환됩니다.
도구 실행
python -m pip install -r requirements.txt
python start.py # http://127.0.0.1:7860/에서 웹 UI를 시작합니다.
- 수동 모드 – 세 가지 챌린지 프롬프트를 붙여넣고 테스트하려는 모델에서 실행한 후 세 가지 전체 출력을 UI에 붙여넣습니다.
- API 모드 – 기본 URL, API 키 및 모델 이름을 제공합니다. 도구가 자동으로 모델을 호출하고(OpenAI Chat Completions 및 Anthropic Messages 지원) 세 가지 챌린지를 수행합니다.
지문 라이브러리
- 현재 두 계열(GPT 유사 및 Claude)로 제공되며 18개의 구체적인 모델 버전(예:
gpt-5.6-luna,claude-opus-5)을 포함합니다. - 라이브러리는 공식 Codex 구독(GPT) 및 OAIPro 서비스(Claude)에서 구축되었습니다.
- 제공된 API를 통해 또는 새 챌린지 데이터로
bank_builder.py를 실행하여 새 라이브러리를 생성하거나 확장할 수 있습니다.
Codex와의 통합
- 별도 플러그인인 ModelTrace Guard를 Codex CLI에 설치할 수 있습니다. 각 Codex 작업에 대해 백그라운드에서 세 가지 챌린지를 자동으로 실행하고 결과를 기록하며 모델의 지문이 예기치 않게 변경되면 사용자에게 경고합니다.
- 이 플러그인은 UI 새로 고침을 위해 추가 모델 할당량을 소비하지 않고 작동합니다. 세 가지 챌린지 호출만 추론 크레딧을 사용합니다.
제한 사항 및 주의 사항
- 귀속은 확률적이며 지문 뱅크만큼만 정확합니다. 결과는 암시적일 뿐 확정적이지 않습니다.
- 뱅크에 없는 모델은 여전히 가장 가까운 알려진 모델에 할당되며, 이는 오해의 소지가 있을 수 있습니다.
- Claude의 "Code" 엔드포인트는 시스템 프롬프트 효과로 인해 더 큰 편향을 보이므로 도구는 해당 환경에서 사용하지 않도록 권장합니다.
- API 키는 디스크에 기록되지 않습니다. 요청 기간 동안에만 존재합니다.
감사의 말
- 미묘한 숫자 생성 편향이 교차 API 일관성 검사에 사용될 수 있음을 처음으로 입증한
hanlinwenyuan/hlwy-ai-checker에서 영감을 받았습니다.
ModelTrace는 LLM에 대한 가벼운 로컬 실행 방식의 지문 인식 도구를 제공하며, 특히 공급자의 모델 이름이 모호하거나 숨겨져 있을 수 있는 환경에서 실제로 쿼리 중인 모델 버전을 확인해야 하는 개발자에게 유용합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트