caidaoli/ccLoad

ccLoad – 自托管 AI API 网关

功能简介 – ccLoad 是一个基于 Go 的反向代理，可运行在您自己的机器或服务器上。它位于多个大语言模型提供商（Claude、OpenAI、Gemini、Codex 等）之前，提供一个单一的 API 端点和令牌供客户端工具使用。网关会选择上游渠道（一组凭据或订阅账户），在失败时重试，在不同请求格式之间转换，并记录使用情况和成本。

适用人群 –

• 拥有多个 AI 订阅并希望单一访问点，以免配额耗尽的密钥中断编码会话的开发者。
• 需要对模型、支出或并发数进行限制的按用户或按项目 API 令牌的团队。
• 管理大量凭据并需要基于健康状态的路由、定时健康检查和 Web 控制台的操作人员。

主要功能

• 渠道管理 – 添加基于 API 密钥的服务、中继 URL 或基于 OAuth 的账户（Claude、Codex/ChatGPT、Antigravity、xAI 等）。每个渠道列出其可服务的模型。
• 故障转移与冷却 – 自动重试并采用指数退避，范围限定于密钥/模型/渠道，并尊重上游的速率限制窗口。
• 协议转换 – 支持 Anthropic、OpenAI、Codex Responses 和 Gemini 客户端；当客户端和上游协议不同时转换请求。
• 基于令牌的访问控制 – 生成具有每令牌成本上限、模型允许/拒绝列表、并发限制和只读控制台视图的 API 令牌。
• 可观测性 – 仪表盘显示实时请求、日志、成本明细，并可中止正在进行的请求。
• 轻量部署 – 单一二进制文件，内置 SQLite（可选 MySQL/PostgreSQL），提供 amd64/arm64 的 Docker 镜像、Homebrew 公式，甚至免费的 Hugging Face Spaces 选项。

入门指南

1. 安装 – Docker（推荐）、Docker-Compose、Homebrew，或从发布页面下载二进制文件。
2. 运行 – 服务监听 8080 端口；通过 CCLOAD_PASS 设置管理员密码。
3. 管理控制台 – 访问 http://<host>:8080/web/ 添加渠道并创建客户端令牌。
4. 配置客户端 – 将 Claude Code、Codex CLI 或任何 OpenAI 兼容 SDK 指向 http://<host>:8080/v1，并使用生成的令牌作为 API 密钥。
5. 监控 – 使用内置仪表盘查看使用量、成本和健康信息。

为什么使用它 – 它消除了在代码中嵌入许多不同密钥的需求，在提供商宕机或配额耗尽时提供自动故障转移，并让您清晰了解每个模型或令牌的成本。

许可证 – MIT。