prehisle/relay-pulse

何を解決するか

Relay Pulse は、LLM APIプロキシサービスにおける「偽の可用性」問題に対処します。従来の監視ツールはHTTP接続が成功しているかどうか（HTTP 200）を確認するだけですが、LLMサービスは200ステータスコードを返す一方で、空のコンテンツや内部エラーメッセージを返すことがあります。このツールは、LLMが実際にテキストを生成しているかを検証することで、サービスが本当に機能しているかを保証します。

動作方法

システムは、設定されたLLMプロバイダーに実際にAPIリクエストを送信することで、定期的な「現実世界」のプローブを実行します。通常 max_tokens: 1 を使用して、実際のトークンをわずかに消費することで、モデルが実際に「発話」しているかを検証します。これらの結果を時間とともに追跡し、SQLiteまたはPostgreSQLに保存し、24時間、7日、30日単位の可用性ヒートマップを提供する視覚的なダッシュボードを構築します。

対象ユーザー

• 自前ホスティングまたはLLMプロキシ/リレーサービスを購入し、アップタイムを追跡したいユーザー。
• 複数のクラウドLLMプロバイダーの品質、レイテンシ、エラー率を比較したい開発者。
• 外部LLM APIに依存しており、「偽の成功応答」によるサービス障害を回避したい企業。

主な特徴

• 実際のトークンプローブ: ネットワーク接続のみではなく、実際の出力生成を検証します。
• 視覚的な品質マトリクス: サービスの安定性トレンドを把握できる可用性ヒートマップを提供。
• ホット設定更新: fsnotify を使用してサーバー再起動なしに設定変更を適用。
• クラウドネイティブ設計: Dockerデプロイをサポートし、PostgreSQLを用いた水平スケーリングに対応。
• 低負荷: 1サービスあたり1日約30,000トークンの消費で、最小限のコスト設計。