prehisle/relay-pulse

解决的问题

Relay Pulse 解决了 LLM API 代理服务中的「虚假可用性」问题。传统监控工具仅检查 HTTP 连接是否成功（HTTP 200），但 LLM 服务可能返回 200 状态码，同时提供空内容或内部错误信息。该工具通过验证 LLM 是否实际生成真实文本，确保服务真正可用。

工作原理

系统通过向配置的 LLM 提供商发送实际 API 请求，执行定期的「真实世界」探测。它消耗少量真实令牌（通常使用 max_tokens: 1）来验证模型是否真正「发声」。系统会随时间追踪这些结果，并将数据存储在 SQLite 或 PostgreSQL 中，提供可视化仪表板，包含 24 小时、7 天和 30 天窗口的可用性热力图。

适用人群

• 自行托管或购买 LLM 代理/中继服务，需要追踪服务可用性的用户。
• 需要比较多个云 LLM 提供商的质量、延迟和错误率的开发者。
• 依赖外部 LLM API 且希望避免因「虚假成功响应」导致服务中断的企业。

核心亮点

• 真实令牌探测：验证实际输出生成，而不仅仅是网络连通性。
• 可视化质量矩阵：提供可用性热力图，帮助识别服务稳定性趋势。
• 热配置更新：使用 fsnotify 实现配置更改无需重启服务器即可生效。
• 云原生设计：支持 Docker 部署，并通过 PostgreSQL 实现水平扩展。
• 低开销：设计为低消耗，每服务每天仅消耗约 30,000 个令牌。