lij768423-svg/grok2api-egress-enhancements

해결하는 문제

이 프로젝트는 AI 모델(특히 Grok)에 여러 프록시 노드를 사용할 때 발생하는 품질 저하 및 연결 문제를 해결합니다. 출력 품질을 모니터링하고 성능이 저하된 프록시 노드를 자동으로 격리함으로써 "지능 저하"(모델이 저품질 또는 추론 없이 응답하는 현상)를 방지합니다.

작동 방식

grok2api용 확장 기능 및 사이드카 프로세스로 작동합니다. 높은 품질의 출력을 보장하기 위해 여러 메커니즘을 사용합니다:

• 품질 가드 사이드카: 별도의 프로세스로 TPS(초당 토큰 수)를 감시하고, 특정 프롬프트로 활성 프로브를 실행하며, 성능 기준을 충족하지 못하는 노드를 격리합니다.
• 사고 인터셉트: 스트리밍 응답을 일시 보류하여 실제 "사고"(추론 토큰)가 발생하는지 확인합니다. 응답이 너무 짧거나 추론 증거가 없으면 품질 저하로 간주하고, 시스템은 자동으로 계정을 전환하여 재시도합니다.
• 에그레스 복구: 고정 프록시에 대해 빠른 복구를 구현하며, 연결 실패 후 비동기 프로브로 건강 상태를 확인하여 다음 요청을 불필요하게 차단하지 않습니다.
• 노드 관리: 품질 저하가 발생한 계정을 모니터링하고, 프록시 노드를 관리하며, 프로브 프로파일(기대되는 마커 또는 처리량 기준)을 구성할 수 있는 관리 인터페이스를 제공합니다.

대상 사용자

다양한 주거용 프록시 노드 풀에서 고품질 및 신뢰성 있는 출력을 유지해야 하는 대규모 AI API 게이트웨이 또는 프록시 스택을 운영하는 개발자 및 운영자에게 적합합니다.

주요 특징

• 자동 노드 격리: 출력 속도를 수동으로 모니터링하고, 노드를 능동적으로 프로브하여 품질이 저하되면 회전에서 제외합니다.
• 추론 검증: 사용자에게 스트림을 전달하기 전에 최소한의 암호화된 추론 콘텐츠가 포함되어 있는지 요구하여 "저하된" 응답을 방지합니다.
• 빠른 프록시 복구: 장애 노드에 대해 비동기 건강 검사를 수행하여 최소한의 다운타임을 보장합니다.
• 스티키 IP 로테이션: 노드가 건강하지 않다고 판단되면 1024Proxy와 같은 방식으로 스티키 세션을 로테이션하는 것을 지원합니다.
• 품질 저하 계정 대시보드: 품질 문제로 인해 경고된 계정을 추적하고 관리할 수 있는 전용 UI를 제공합니다.