labring/aiproxy

解決する課題

AI Proxyは、クライアントアプリケーションと様々なAIプロバイダーの間に位置するプロダクションレディなゲートウェイ（ミドルウェア）として機能します。OpenAI互換の単一のエントリポイントを提供することで、ルーティング、モニタリング、マルチテナンシー、プロトコル変換を一元管理し、プロバイダー固有のロジックをクライアント側で実装する複雑さを解消します。

仕組み

クライアントからのリクエストをインターセプトし、認証、インテリジェントルーター、プラグインシステムで構成されるパイプラインを経由させた後、OpenAI、Anthropic、Geminiなどのプロバイダーに転送します。プロトコルの自動変換（例：ClaudeのリクエストをOpenAI形式に変換）が可能で、管理パネルを使用して設定や分析を行えます。また、Model Context Protocol (MCP) と統合されており、外部ツールを使用してAIの機能を拡張できます。

対象ユーザー

高い信頼性とスケーラビリティを必要とし、統一されたインターフェースの下で複数のAIモデルやテナントを管理したいAIアプリケーションを構築する開発者や組織向けに設計されています。

主な特徴

• インテリジェントルーティング: スマートなリトライロジック、負荷分散、優先度ベースのチャネル選択機能を備えています。
• プロトコル変換: OpenAI、Claude、Geminiの各プロトコル間をシームレスに変換します。
• マルチテナント管理: 組織の分離、トークンベースのアクセス制御、グループごとのリソースクォータ (RPM/TPM) を提供します。
• 拡張可能なプラグインシステム: キャッシュ (Redis/メモリ)、ウェブ検索 (Google, Bing, Arxiv)、推論モデルサポート（<think> タグの分割）用の組み込みプラグインが含まれています。
• MCPサポート: 公開、プライベート、埋め込み型のMCPサーバーを統合し、OpenAPIからMCPへの自動変換もサポートします。
• 包括的なモニタリング: リアルタイムのアラート、詳細な監査ログ、コスト分析を提供します。