tbphp/gpt-load

What it solves

GPT-Load 是一个高性能的透明代理服务，专为需要管理和集成多于 AI 服务的企业和开发者。它解决了管理不同提供商（如 OpenAI, Gemini, 和 Claude）之间的众多 API keys 的问题，并确保通过负载均衡和自动故障恢复来确保服务可用性。

How it works

使用 Go 语言构建，该服务作为用户与 AI 提供商之间的网关。它保留了原生 API 格式，因此现有的集成方式不需要进行更改。它管理一个 API keys 集合，并使用加权负载均衡来分发请求。如果某个 key 失败了，智能系统会自动将其列入黑名单，并尝试轮换使用不同的 key 以确保请求成功。 \n## Who it’s for

• Enterprises 需要高并发生产环境和水平扩展。
• Developers 需要在不更改应用代码的情况下，以统一的方式管理多个 AI API keys。
• AI Teams 需要实时监控、健康检查和详细的请求日志。

Highlights

• Transparent Proxying: 支持 OpenAI, Google Gemini, 和 Anthropic Claude 格式原生支持。
• Intelligent Key Management: 具备自动轮换、故障恢复和基于分组的管理功能。
• Enterprise Architecture: 支持分布式-leader-follower 部署模式， leader-follower 部署模式，以实现高可用性。
• High Performance: 利用 zero-copy streaming 和连接池重用以提高效率。
• Management Interface: 包含一个基于 Vue 3 的 Web UI，用于直观的配置和监控。