fruitbars/simple-one-api

解决的问题

它提供了一个统一的网关来连接多个大型语言模型 (LLM) 供应商，让用户能通过单一接口管理各种 API 密钥和模型。它特别解决了 API 速率限制（429 错误）的问题，通过实现智能密钥池和容量感知调度，确保请求分配到可用的密钥上，从而避免重复失败。

运作方式

此项目作为客户端与 LLM 供应商之间的代理。它支持三种主要的客户端协议：OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages。它使用 60 秒的滚动窗口来估算每个 API 密钥与模型组合的剩余每分钟 Token 数 (TPM)。当请求到达时，它会过滤掉已禁用或触发断路器的密钥，估算请求成本，并选择容量最充足的密钥。如果供应商返回 429 错误，系统会自动冷却该密钥-模型对，并尝试将请求路由至池中另一个健康的密钥。

适用对象

• 使用多个 LLM 供应商并希望拥有单一 API 端点的开发者。
• 需要为其 API 密钥管理网关的本地 LLM 客户端（如 Codex 或 Claude Code）用户。
• 需要强大方式来处理多个 API 账号速率限制与负载均衡的团队。

特色亮点

• 容量感知调度：基于估算的 TPM 和实时 429 冷却机制的智能密钥选择。
• 多协议支持：兼容于 OpenAI 和 Anthropic API 格式。
• 统一管理：包含可视化配置仪表板、内置 React 网页聊天界面以及基于 Wails 的桌面应用程序。
• 细粒度速率限制：支持四层限制（供应商、供应商-模型、密钥、密钥-模型），涵盖 QPS、QPM、RPM、TPM 和并发数。
• 可观测性：实时日志查看与轻量级使用统计（延迟、TTFT、Token 计数），且不存储提示内容。