prehisle/relay-pulse

解決的問題

Relay Pulse 解決了 LLM API 代理服務中的「虛假可用性」問題。傳統監控工具僅檢查 HTTP 連接是否成功（HTTP 200），但 LLM 服務可能回傳 200 狀態碼，同時提供空內容或內部錯誤訊息。此工具透過驗證 LLM 是否實際產生真實文字，確保服務真正可用。

工作原理

系統透過向設定的 LLM 提供商發送實際 API 請求，執行定期的「真實世界」探測。它消耗少量真實令牌（通常使用 max_tokens: 1）來驗證模型是否真正「發聲」。系統會隨時間追蹤這些結果，並將資料儲存在 SQLite 或 PostgreSQL 中，提供可視化儀表板，包含 24 小時、7 天和 30 天視窗的可用性熱力圖。

適用對象

• 自行托管或購買 LLM 代理/中繼服務，需要追蹤可用性的使用者。
• 需要比較多個雲端 LLM 提供商的品質、延遲和錯誤率的開發者。
• 依賴外部 LLM API 且希望避免因「虛假成功回應」導致服務中斷的企業。

核心亮點

• 真實令牌探測：驗證實際輸出生成，而不仅仅是網路連通性。
• 可視化品質矩陣：提供可用性熱力圖，幫助識別服務穩定性趨勢。
• 熱配置更新：使用 fsnotify 實現配置變更無需重啟伺服器即可生效。
• 雲原生設計：支援 Docker 部署，並透過 PostgreSQL 實現水平擴展。
• 低開銷：設計為低消耗，每服務每天僅消耗約 30,000 個令牌。