lij768423-svg/grok2api-egress-enhancements

解決的問題

本專案解決使用多個代理節點存取AI模型（特別是Grok）時所產生的品質下降與連線問題。透過監控輸出品質並自動隔離表現不佳或效能低下的代理節點，防止「智慧退化」（模型回傳低品質或無推理能力的回應）。

工作原理

作為 grok2api 的一組增強功能與側車程序運作。採用多種機制確保高品質輸出：

• 品質守護側車：獨立程序，監控 TPS（每秒令牌數），使用特定提示進行主動探測，並將效能低於閾值的節點隔離。
• 思考攔截：暫存串流回應，驗證是否存在實際的「思考」（推理令牌）。如果回應過短或缺乏推理證據，則標記為退化，系統將自動切換帳戶並重試。
• 出口恢復：為固定代理實現快速恢復，透過非同步探測在連線失敗後檢查健康狀態，避免不必要的阻塞後續請求。
• 節點管理：提供管理介面，用於監控退化帳戶、管理代理節點，並設定探測設定檔（預期標記或吞吐量基準）。

適用對象

需要在多樣化的住宅代理節點池中維持高輸出品質與可靠性的大型AI API網關或代理堆疊之開發者與運維人員。

主要亮點

• 自動節點隔離：被動監控輸出速度，主動探測節點，當品質下降時將其從輪詢中移除。
• 推理驗證：透過要求最低數量的加密推理內容，防止「降級」回應，在向使用者釋放串流前進行驗證。
• 快速代理恢復：對故障節點進行非同步健康檢查，確保最小停機時間。
• 黏性IP輪換：當節點被判定為不健康時，支援透過 1024Proxy 等方式輪換黏性會話。
• 退化帳戶儀表板：專用UI用於追蹤與管理被標記為品質異常的帳戶。