caidaoli/ccLoad

解決的問題

ccLoad 是一個專為消除管理多個 AI API 提供商的運營複雜性而設計的 AI API 網關。它解決了常見問題，例如手動切換通道、速率限制、上游故障（包含「軟錯誤」——即 200 OK 回應中包含錯誤訊息的情況），以及請求狀態不透明。它還透過實施每通道與每令牌的限制來防止成本漂移。

工作原理

該系統作為客戶端（如 Claude Code、Codex、Gemini 和 OpenAI）與各種上游 AI 提供商之間的透明代理。它基於優先級與加權輪詢選擇實現智能路由，支援自動故障轉移與模型感知的冷卻機制，可在不關閉整個通道的情況下跳過失敗的金鑰或模型。它支援多 URL 排程與協定轉換，確保請求被路由至相容的上游提供方。

適用對象

在不同客戶端中使用多個 AI API 金鑰與提供方，並需要集中管理路由、故障轉移、成本控制與監控的開發者與團隊。

主要亮點

• 智能路由與故障轉移：基於優先級的選擇，使用指數退避實現金鑰、模型與通道的自動故障轉移。
• 模型感知冷卻：僅對受影響的模型或金鑰進行冷卻，而非整個通道。
• 全面監控：提供 Web 仪表板，即時追蹤活躍請求、令牌使用量、TTFB 與成本。
• 協定轉換：支援多種客戶端協定，可自動偵測或明確根據上游能力進行路由。
• 成本與速率控制：實施每通道每日成本上限、RPM 限制與併發限制。
• 廣泛提供方支援：整合支援 OAuth 通道（Codex、Anthropic、xAI）與各種基於 API 金鑰的提供方。