Nya-Foundation/NyaProxy

何を解決するか

NyaProxy は、外部または内部 API（AIプロバイダー、画像生成、SaaSサービスなど）へのアクセスを中央で管理する方法を提供します。クライアントアプリケーションに機密性の高いAPIキーを公開することなく、APIキーを安全に管理できます。複数の認証情報を1つのサービスで管理する問題、レート制限の処理、自動リトライとフェイルオーバーによる高可用性の確保といった課題を解決します。

動作方法

NyaProxy は、アプリケーションと上流サービスの間に位置するAPIゲートウェイとして機能します。アプリケーションは内部プロキシキーを使って NyaProxy に認証します。NyaProxy は、管理されたプールから適切な上流認証情報を注入して、リクエストをターゲットAPIに転送します。設定可能なロードバランシング戦略を使用してキーをローテーションし、エンドポイント、キー、ユーザーごとにレート制限を適用します。特定のエラーコードによりリクエストが失敗した場合、NyaProxy は自動的に別のキーに切り替え、リクエストを再試行できます。

対象ユーザー

認証情報の中央管理、クォータ対応ルーティングの実装、上流APIキーがフロントエンドやクライアントサイドコードに露出するのを防ぎたいチームや開発者向けに設計されています。

主な特徴

• 認証情報プールと注入: 複数の上流キー間でトラフィックをローテーションし、クォータの最大限の利用を実現。
• 高度なロードバランシング: ラウンドロビン、ランダム、最少リクエスト数、最速応答、重み付き選択をサポート。
• レジリエンス: 自動リトライ、フェイルオーバー、失敗または失効したキーを一時的にブロックする「隔離」システムを備えています。
• トラフィック制御: エンドポイント、キー、IP、ユーザーごとのマルチスコープレート制限とリクエストキューイングを実装。
• リクエストの変更: JMESPathルールを使用して、リクエストボディのJSONフィールドを設定または削除可能（プロバイダー互換性のため）。
• 可観測性: WebダッシュボードとPrometheusメトリクスエンドポイントを提供。