BingZi-233/check-cx

해결하는 문제

Check CX는 제3자 리레이 프로바이더를 통해 라우팅할 때 AI 모델 API의 투명성과 신뢰성 부족을 해결합니다. 캐시된 응답을 반환하여 온라인인 것처럼 보이게 하는 '가짜' 헬스 체크를 방지하며, 지연 시간과 가용성에 대한 정량적 증거를 제공하여 프로바이더 장애와 리레이 실패를 구분할 수 있게 합니다.

작동 방식

시스템은 OpenAI, Gemini, Anthropic 등의 AI API를 실제 스트리밍 모델 호출을 통해 지속적으로 프로브합니다. API가 실제로 작동하는지 확인하기 위해 다섯 단계의 난이도를 가진 랜덤 언어 도전 과제를 생성하며, 모델이 정확히 해결해야만 "가동 중"으로 표시됩니다. 실제 최초 토큰 도달 시간과 핑 지연 시간을 측정하고, 7일, 15일, 30일 단위의 가용성 통계를 추적하며, 공식 제공업체 상태 페이지와 동기화하여 내부 프로브 결과와 글로벌 장애를 연계할 수 있습니다.

대상 사용자

여러 AI 모델 API 또는 제3자 리레이에 의존하며, 가용성, 성능, 모델 능력을 모니터링하기 위한 공개 또는 내부 상태 보드가 필요한 개발자 및 조직.

주요 기능

• 랜덤 챌린지 검증: 정적 텍스트를 반환하는 가짜 프록시를 노출하기 위해 동적 언어 작업을 사용.
• 실제 요청 프로빙: 단순한 포트 연결성 대신 실제 스트리밍 성능과 최초 토큰 도달 시간을 측정.
• 능력 평가: 고난이도 챌린지를 샘플링하여 모델에 지능 점수를 부여하되, 건강 상태에는 영향을 주지 않음.
• 생산 준비 인프라: 중복 탐색을 방지하기 위한 멀티노드 리더 선출, 자동 재시도, 외부 통합을 위한 읽기 전용 상태 API 포함.
• 공식 상태 동기화: OpenAI 및 Anthropic 상태 페이지를 자동으로 페칭하여 외부 검증 가능.