ding113/claude-code-hub

解決的問題

CC Hub 是一個專為團隊設計的 AI API 代理及管理平台，旨在統一對多個 AI 提供商（如 Claude、OpenAI 和 Gemini）的存取。它消除了為不同服務管理單獨 API 金鑰和端點的需求，為彈性調度、成本管理和可觀測性提供了一個集中的樞紐。

工作原理

該系統基於 Next.js 16、Hono、PostgreSQL 和 Redis 构建，充當用戶端與 AI 提供商之間的閘道。它透過一個包含身份驗證、會話管理、速率限制和提供商選擇的流水線來處理請求。它使用帶有熔斷器保護的加權負載平衡器將請求路由到最穩定的提供商，最多支援三次故障轉移嘗試。該平台還維護 5 分鐘的上下文快取，以確保會話一致性並避免頻繁的提供商切換。

適用對象

主要面向使用多個 AI 模型提供商，並需要專業級閘道來管理並行、追蹤成本並確保其 AI 服務高可用性的團隊和開發人員。

亮點

• 智慧負載平衡：使用權重、優先級和分組，並內建熔斷器保護和自動故障轉移。
• 多提供商支援：整合 Claude、Codex、Gemini CLI 和 OpenAI 相容的 API，並支援自定義模型重定向。
• 細粒度控制：使用 Redis Lua 腳本實現原子性的多維度速率限制（RPM、預算、並行會話）。
• 即時監控：提供儀表板，用於追蹤使用情況、成本、活動會話和決策鏈日誌。
• OpenAI 相容性：提供 /v1/chat/completions 端點，可以在不進行格式轉換的情況下透傳工具調用和推理欄位。
• 自動化文件：使用 Swagger 和 Scalar UI 自動生成 OpenAPI 3.1.0 規範以供測試。