caidaoli/ccLoad

解决的问题

ccLoad 是一个专为消除管理多个 AI API 提供商的运营复杂性而设计的 AI API 网关。它解决了常见的问题，如手动切换通道、速率限制、上游故障（包括“软错误”——即 200 OK 响应中包含错误消息的情况）以及请求状态不透明。它还通过实施按通道和按令牌的限制来防止成本漂移。

工作原理

该系统作为客户端（如 Claude Code、Codex、Gemini 和 OpenAI）与各种上游 AI 提供商之间的透明代理。它基于优先级和加权轮询选择实现智能路由，支持自动故障转移和模型感知的冷却机制，可在不关闭整个通道的情况下跳过失败的密钥或模型。它支持多 URL 调度和协议转换，确保请求被路由到兼容的上游提供方。

适用人群

在不同客户端中使用多个 AI API 密钥和提供方，并需要集中管理路由、故障转移、成本控制和监控的开发者和团队。

主要亮点

• 智能路由与故障转移：基于优先级的选择，使用指数退避实现密钥、模型和通道的自动故障转移。
• 模型感知冷却：仅对受影响的模型或密钥进行冷却，而非整个通道。
• 全面监控：提供 Web 仪表板，实时追踪活跃请求、令牌使用量、TTFB 和成本。
• 协议转换：支持多种客户端协议，可自动检测或显式根据上游能力进行路由。
• 成本与速率控制：实施按通道的每日成本上限、RPM 限制和并发限制。
• 广泛提供方支持：集成支持 OAuth 通道（Codex、Anthropic、xAI）和各种基于 API 密钥的提供方。