lij768423-svg/grok2api-egress-enhancements

何を解決するか

このプロジェクトは、AIモデル（特にGrok）に複数のプロキシノードを使用する際の品質低下と接続問題に対処します。出力品質を監視し、性能が低下したノードを自動的に隔離することで、「知能の劣化」（モデルが低品質または推論を行わない応答を返す現象）を防止します。

動作方法

grok2api用の拡張機能およびサイドカー処理として機能します。高品質な出力を確保するための複数のメカニズムを採用しています：

• 品質ガードサイドカー：別途実行されるプロセスでTPS（1秒あたりのトークン数）を監視し、特定のプロンプトでアクティブなプローブを実行し、性能基準を下回るノードを隔離します。
• 思考のインターセプト：ストリーミング応答を一時保持し、実際に「思考」（推論トークン）が行われているかを検証します。応答が短すぎたり、推論の証拠がなければ、劣化と判断され、システムは自動的にアカウントを切り替え再試行します。
• エグレス回復：固定プロキシの高速回復を実装。接続障害後に非同期プローブで健全性を確認し、次のリクエストを不必要にブロッキングしません。
• ノード管理：劣化したアカウントの監視、プロキシノードの管理、プローブプロファイル（期待されるマーカーやスループットの基準）の設定を可能にする管理インターフェースを提供します。

対象ユーザー

多数のリジデンスプロキシノードを活用する大規模AI APIゲートウェイやプロキシスタックを運用する開発者およびオペレーター向けです。多様なノード環境でも高品質かつ信頼性の高い出力を維持する必要がある方々に最適です。

主な特徴

• 自動ノード隔離：出力速度を受動的に監視し、ノードを積極的にプローブして品質が低下した場合にローテーションから除外します。
• 推論検証：ユーザーにストリームを提供する前に、最低限の暗号化された推論コンテンツが含まれていることを要求することで、「低レベル化された」応答を防止します。
• 高速プロキシ回復：障害ノードに対して非同期の健全性チェックを実施し、ダウンタイムを最小限に抑えます。
• スタティックIPローテーション：ノードが不健康と判断された場合、1024Proxyなどによるスタティックセッションのローテーションをサポートします。
• 劣化アカウントダッシュボード：品質問題が発生したアカウントを追跡・管理する専用UIを提供します。