Mirrowel/LLM-API-Key-Proxy

何を解決するか

このプロジェクトは、複数のLLMプロバイダー（Gemini、OpenAI、Anthropicなど）を1つの標準化されたAPIエンドポイントからアクセスできるユニバーサルプロキシを提供します。既存のアプリケーションのコードを変更する必要がなく、OpenAIおよびAnthropic互換のエンドポイントを提供することで、APIキー管理、レート制限、プロバイダーのフェイルオーバーの問題を解決します。

動作方法

システムは2つの主要な部分で構成されています：FastAPIベースのAPIプロキシとリジリエンスライブラリ。プロキシはゲートウェイとして機能し、provider/model_name形式に基づいてリクエストを適切なバックエンドプロバイダーにルーティングします。リジリエンスライブラリを使用して、知的なAPIキーのローテーション、ロードバランシング、およびキーがエラーまたはレート制限に遭遇した際の自動フェイルオーバーを処理します。

対象ユーザー

Claude Code、Cursor、Continueなどのさまざまなツールで複数のLLMプロバイダーを使用する開発者やパワーユーザーで、アプリケーションコードを変更せずに資格情報の集中管理、高可用性の確保、ベンダーのロックイン回避を望む人向けです。

特徴

• ユニバーサル互換性：カスタムOpenAIまたはAnthropicのベースURLを許可する任意のアプリケーションに対応。
• 組み込みのリジリエンス：自動キーのローテーション、失敗したキーに対する段階的なクールダウン、知的なフェイルオーバーを備えています。
• マルチプロバイダー対応：Gemini、OpenAI、Anthropic、およびLiteLLMがサポートする任意のプロバイダーと統合可能。Gemini CLI専用のサポートも提供。
• インタラクティブTUI：APIキー、OAuth資格情報、サーバー設定の管理に使用できるテキストベースのユーザーインターフェースを備えています。
• 高度なトラフィック制御：細かい並行制限、モデルのホワイトリスト/ブラックリスト、優先度に基づく資格情報選択が可能。