hanlinwenyuan/hlwy-ai-checker

检查第三方AI API是否掺假以及渠道一致|基于llm指纹的AI模型识别

hlwy‑ai‑checker – 기능 개요

목적 – 공식 LLM API(예: OpenAI)와 타사 "리셀러" API의 동작을 비교할 수 있는 로컬 실행형 도구입니다. 두 엔드포인트에 동일한 프롬프트를 여러 번 보내고 응답의 통계적 분포를 분석하여 각 서비스에 대한 핑거프린트를 생성합니다. 핑거프린트가 크게 다를 경우, 이 도구는 타사 채널이 변조되었거나 "가짜"일 가능성이 있다고 표시합니다.

중요성 – 많은 기업이 대규모 언어 모델 API를 재포장하여 자체 키로 판매합니다. 사용자는 API 키나 데이터를 인터넷에 노출하지 않고도, 자신이 비용을 지불하는 서비스가 공식 제공업체와 동일한 모델을 실제로 실행하고 있는지 확인하고 싶어 할 것입니다.

사용 방법

Releases 페이지에서 최신 ZIP 파일을 다운로드하고 압축을 풉니다.
python start.py를 실행합니다.
자동 모드 – 원클릭 테스트. 옵션으로 "안티 타겟팅" 스위치를 사용할 수 있습니다(README의 스크린샷에 UI가 표시됨).
수동 모드 –
- 공식 API 키와 기본 URL(/v1 포함 필수)을 입력합니다.
- 타사 API 키와 기본 URL을 입력하고, 보정 시 사용한 것과 동일한 모델을 선택한 후 테스트를 시작합니다.
실행이 완료되면 UI에 유사도 점수, 통계 차트, 토큰 사용량이 표시됩니다.

주요 기능

기능	내용
통계적 핑거프린트	동일한 프롬프트를 반복적으로 샘플링하여 모델의 "서명"처럼 작동하는 미묘한 편향(학습 데이터, 토크나이저, 샘플링 매개변수)을 밝혀냅니다.
높은 식별 능력	스크린샷에서 볼 수 있듯이, 이 도구는 정품 엔드포인트와 변조된 엔드포인트를 명확하게 구분할 수 있습니다.
낮은 토큰 소비	신뢰할 수 있는 핑거프린트를 얻기 위해 충분한 데이터를 수집하면서도 토큰 소비를 최소화하도록 설계되었습니다.
보정 후 적응	먼저 공식 엔드포인트에서 보정을 수행하고 동일한 설정을 타사 엔드포인트에 적용하여 비교 정확도를 높입니다.
로컬 전용 실행	API 요청 자체 외에는 네트워크 통신이 발생하지 않으므로 키나 테스트 데이터가 머신 외부로 유출되지 않습니다.

기본 원리(README 설명 참조)

대규모 언어 모델은 순수 난수 생성기가 아닙니다. 그 "무작위" 출력은 학습 데이터, 아키텍처, RLHF 정렬, 토큰화 및 샘플링 설정의 영향을 받습니다.
다수의 프롬프트를 보내고 답변의 분포를 수집함으로써 통계적인 "핑거프린트"를 구축할 수 있습니다.
타사 서비스의 핑거프린트와 공식 서비스의 핑거프린트를 비교하여 두 서비스가 동일하게 동작하는지 확인할 수 있습니다.
이 방법은 통계적인 것이며 포렌식(과학 수사)이 아닙니다. 결과는 모델 버전, 샘플 수, 네트워크 안정성 등에 따라 달라지며 법적 증거로 사용할 수 없습니다.

제한 사항 및 면책 조항

결과는 참고용일 뿐이며, 타사 API가 다른 모델을 사용하고 있음을 결정적으로 증명하지는 않습니다.
모델의 무작위성과 네트워크 문제가 유사도 점수에 영향을 줄 수 있습니다.
본 도구의 출력으로 인해 발생하는 상업적 분쟁에 대해 저자는 어떠한 책임도 지지 않습니다.

이 도구가 유용한 대상

리셀러로부터 LLM 액세스를 구매하고 저렴한 비용으로 건전성 검사를 수행하려는 개발자나 기업.
API 키 노출을 우려하는 보안 의식이 높은 사용자.
모델 수준의 핑거프린트 기술에 관심이 있는 연구자.

빠른 시작 체크리스트

Python 설치(저장소에 의존성이 명시되어 있지 않으나 requests/httpx 및 tkinter나 PyQt와 같은 GUI 라이브러리가 필요할 수 있음).
공식 API 키와 기본 URL(예: https://api.openai.com/v1).
타사 API 키와 기본 URL.
스크립트를 실행하고 화면의 지시를 따릅니다.

요약: hlwy‑ai‑checker는 공식 LLM API와 타사 API의 출력 패턴을 통계적으로 비교하기 위한 틈새 로컬 실행형 유틸리티입니다. 사용자는 자격 증명을 비공개로 유지하면서 변조나 모델 교체 가능성을 감지할 수 있습니다.