Mirrowel/LLM-API-Key-Proxy

解决的问题

该项目提供了一个通用代理，允许用户通过单一标准化的 API 端点访问多个 LLM 提供商（如 Gemini、OpenAI 和 Anthropic）。它无需更改现有应用程序的代码，即可提供 OpenAI 和 Anthropic 兼容的端点，同时解决了 API 密钥管理、速率限制和提供方故障转移的问题。

工作原理

系统由两大部分组成：基于 FastAPI 的 API 代理和弹性库。代理作为网关，根据 provider/model_name 格式将请求路由到相应的后端提供方。它使用弹性库来处理智能 API 密钥轮换、负载均衡以及在密钥遇到错误或速率限制时的自动故障转移。

适用人群

在各种工具（如 Claude Code、Cursor 或 Continue）中使用多个 LLM 提供方的开发者和高级用户，希望以集中方式管理凭证、确保高可用性，并避免代码修改带来的供应商锁定问题。

主要亮点

• 通用兼容性：支持任何允许自定义 OpenAI 或 Anthropic 基础 URL 的应用程序。
• 内置弹性：具备自动密钥轮换、失败密钥的递增冷却机制以及智能故障转移功能。
• 多提供方支持：与 Gemini、OpenAI、Anthropic 以及 LiteLLM 支持的任何提供方集成，包括对 Gemini CLI 的专属支持。
• 交互式 TUI：包含一个基于文本的用户界面，用于管理 API 密钥、OAuth 凭据和服务器设置。
• 高级流量控制：提供细粒度的并发限制、模型白名单/黑名单以及基于优先级的凭证选择。