theagentrouter/agent-router

何を解決するか

Agent Router は、AI およびエージェントトラフィックを管理するための集中型コントロールプレーンを提供します。アプリケーションチームがさまざまなモデルやツール用に複数の異なるAPIを管理する必要がなくなり、プラットフォームチームはホストされたプロバイダーとセルフホスト型推論サーバー全体にわたってセキュリティ、クォータ、ルーティングポリシーを中央で強制できるようになります。

動作方法

Envoy と Envoy Gateway で駆動され、二段階ゲートウェイパターンを実装しています：

• 第1段階ゲートウェイ： 認証、グローバルなレート制限、および上位レベルのルーティングを処理する主なエントリポイントとして機能します。
• 第2段階ゲートウェイ： セルフホスト型モデルクラスタへのイングレストラフィックを管理し、細かい制御とエンドポイントピッカー機能を提供してLLM推論を最適化します。

さまざまなAIプロバイダー（OpenAI、Azure OpenAI、Google Gemini、Anthropicなど）およびMCPサーバーの違いを抽象化する、単一のOpenAI互換APIを提供します。

対象ユーザー

• アプリケーションチーム： 各プロバイダーごとにコードを変更せずに、複数のAIモデルやツールとやり取りできる一貫したAPIを必要とするチーム。
• プラットフォームチーム： AIトラフィックの資格情報管理、フェイルオーバー、使用量の帰属、クォータを中央で管理する必要があるチーム。

主な特徴

• OpenAI互換API： ホスト型およびセルフホスト型AIプロバイダーの広範な範囲に対応する統一インターフェースを提供。
• Envoy駆動： Envoy Proxyの強力なトラフィック管理機能を活用。
• 二段階アーキテクチャ： グローバルエントリポイントの課題と特定のモデルクラスタ最適化を分離。
• 広範なプロバイダーサポート： OpenAI、Azure、Google、AWS Bedrock、Mistral、Cohere、DeepSeekなど主要プロバイダーと統合。