yureii1996/cek-probe-model

해결하는 문제

이 프로젝트는 OpenAI 호환 API 엔드포인트에 호스팅된 AI 모델의 아이덴티티와 로직을 검증하기 위한 Python 스크립트 세트를 제공합니다. 사용자가 액세스하는 모델이 제공자가 주장하는 모델과 일치하는지 확인하고, 모델 라벨과 실제 동작 간의 잠재적인 불일치를 감지하도록 돕습니다.

작동 방식

이 도구는 엔드포인트에서 모델 목록을 가져와 간단한 "프로브" 요청을 실행합니다. 모델에 추론 요청을 보내고 응답을 분석하여 아이덴티티와 로직이 예상되는 모델 제품군과 일치하는지 확인합니다. 예를 들어, 라벨은 "DeepSeek"인데 모델이 스스로를 "GPT"라고 식별하는 경우 해당 모델을 "의심스러운" 것으로 표시할 수 있습니다.

대상 사용자

사용 중인 모델 엔드포인트의 진위 여부를 확인하여, 더 저렴하거나 예상치 못한 다른 모델로부터 응답을 받고 있지 않은지 확인하려는 개발자 및 API 사용자.

주요 특징

• 아이덴티티 검증: 모델이 자체 보고한 아이덴티티가 라벨과 다른 아키텍처 불일치를 감지합니다.
• OpenAI API 호환성: OpenAI API 표준을 따르는 모든 엔드포인트에서 작동합니다.
• 다양한 테스트 모드: 빠른 프로빙을 위한 스크립트뿐만 아니라, InferHub 및 CFRouter와 같은 특정 제공자를 위해 재시도 및 지연 시간이 내장된 스크립트가 포함되어 있습니다.
• 환경 변수 기반 보안: 환경 변수를 사용하여 API 키를 안전하게 처리합니다.