prehisle/relay-pulse

해결하는 문제

Relay Pulse는 LLM API 프록시 서비스에서 "가짜 가용성" 문제를 해결합니다. 기존 모니터링 도구는 HTTP 연결이 성공했는지(200 상태 코드)만 확인하지만, LLM 서비스는 200 상태 코드를 반환하면서도 빈 콘텐츠나 내부 오류 메시지를 전달할 수 있습니다. 이 도구는 LLM이 실제로 텍스트를 생성하는지 검증함으로써 서비스가 실제로 기능하는지 보장합니다.

작동 방식

시스템은 설정된 LLM 제공업체에 실제 API 요청을 보내는 주기적인 "현실 세계" 탐지 작업을 수행합니다. 일반적으로 max_tokens: 1을 사용하여 실제 토큰을 소량 소비하여 모델이 실제로 "발화"하는지 확인합니다. 이러한 결과를 시간에 따라 추적하고 SQLite 또는 PostgreSQL에 저장하여 24시간, 7일, 30일 단위의 가용성 히트맵을 제공하는 시각적 대시보드를 구축합니다.

대상 사용자

• 자체 호스팅하거나 LLM 프록시/릴레이 서비스를 구매하여 가용성을 추적해야 하는 사용자.
• 여러 클라우드 LLM 제공업체의 품질, 지연 시간, 오류율을 비교하고자 하는 개발자.
• 외부 LLM API에 의존하며 "가짜 성공 응답"으로 인한 서비스 장애를 피하고자 하는 기업.

주요 기능

• 실제 토큰 탐지: 네트워크 연결만 확인하는 것이 아니라 실제 출력 생성을 검증합니다.
• 시각적 품질 매트릭스: 서비스 안정성 추세를 파악할 수 있는 가용성 히트맵 제공.
• 핫 설정 업데이트: fsnotify를 사용해 서버 재시작 없이 설정 변경을 적용합니다.
• 클라우드 네이티브 설계: Docker 배포를 지원하며 PostgreSQL을 통해 수평 확장이 가능합니다.
• 저부하: 서비스당 하루 약 30,000개의 토큰을 소비하여 최소한의 비용으로 설계되었습니다.