Mirrowel/LLM-API-Key-Proxy

解決的問題

本專案提供一個通用代理，讓使用者能透過單一標準化的 API 端點存取多個 LLM 提供方（如 Gemini、OpenAI 和 Anthropic）。它無需變更現有應用程式的程式碼，即可提供 OpenAI 與 Anthropic 相容的端點，同時解決 API 金鑰管理、速率限制與提供方故障轉移的問題。

工作原理

系統由兩大部分組成：基於 FastAPI 的 API 代理與韌性庫。代理作為閘道，根據 provider/model_name 格式將請求路由至適當的後端提供方。它使用韌性庫來處理智慧型 API 金鑰輪替、負載平衡，以及在金鑰遇到錯誤或速率限制時的自動故障轉移。

適用對象

在各種工具（如 Claude Code、Cursor 或 Continue）中使用多個 LLM 提供方的開發者與進階使用者，希望以集中方式管理憑證、確保高可用性，並避免因修改應用程式程式碼而產生的供應商鎖定問題。

主要特色

• 通用相容性：支援任何允許自訂 OpenAI 或 Anthropic 基礎 URL 的應用程式。
• 內建韌性：具備自動金鑰輪替、失敗金鑰的遞增冷卻機制，以及智慧型故障轉移功能。
• 多提供方支援：與 Gemini、OpenAI、Anthropic 以及 LiteLLM 支援的任何提供方整合，包含對 Gemini CLI 的專屬支援。
• 互動式 TUI：內建文字型使用者介面，用於管理 API 金鑰、OAuth 憑證與伺服器設定。
• 進階流量控制：提供細緻的併發限制、模型白名單/黑名單，以及基於優先權的憑證選擇。