labring/aiproxy

何を解決するか

AI Proxyは、クライアントアプリケーションとさまざまなAIプロバイダー（OpenAI、Anthropic、Geminiなど）の間のミドルウェアとして機能する、本番環境向けのAIゲートウェイです。ルーティング、モニタリング、アクセス制御のための単一の統合インターフェースを提供することで、本番環境における複数のAI APIの管理という問題を解決し、各アプリケーションでプロバイダー固有のロジックを扱う必要性を排除します。

仕組み

このゲートウェイは、OpenAI互換のプロトコルを使用してリクエストを受け取り、設定可能なルールに基づいて適切なAIプロバイダーにルーティングします。機能拡張のためのプラグインシステムと、設定用の管理パネルが含まれています。主なメカニズムは以下の通りです：

• Protocol Conversion: OpenAI、Claude、Geminiの形式間でリクエストを変換します。
• Intelligent Routing: 優先度ベースのチャネル選択とロードバランシングを使用してトラフィックを分散させます。
• Multi-tenant Architecture: 特定のリソース割り当て（RPM/TPM）とカスタム料金設定を持つ組織を分離します。
• MCP Support: Model Context Protocolサーバーを統合し、OpenAPI仕様から生成された公開、非公開、または自動生成されたツールを通じてAI機能を拡張します。

対象ユーザー

• Developers 複数のプロバイダーに対して統合されたAPIを必要とする、AIアプリケーションを構築している開発者。
• DevOps/Platform Engineers モニタリング、請求、および割り当て管理を必要とするチームや組織のAIインフラストラクチャを管理するエンジニア。
• Enterprise Teams 監査ログとサブネット制限を備えた、LLMへの安全でマルチテナントなアクセスを必要とする企業チーム。

ハイライト

• Smart Request Management: プロバイダー間での自動リトライロジックとロードバランシング機能を備えています。
• Comprehensive Monitoring: 残高とエラー率のリアルタイムアラート、および詳細なリクエスト/レスポンスの監査トレイルを提供します。
• Plugin Ecosystem: Redis/memoryキャッシュ、リアルタイムウェブ検索（Google、Bing、Arxiv）、および推論モデルの <think> タグの処理のための組み込みプラグインが含まれています。
• Protocol Flexibility: マルチフォーマット処理（テキスト、画像、音声、ドキュメント）およびレスポンスのみのモデルに対する透過的なプロトコル変換をサポートします。
• Built-in Tokenizer: 外部の tiktoken への依存なしに動作します。