theagentrouter/agent-router

Agent Router – クイック概要

概要 – Agent Router（旧称 Envoy AI Gateway）は、LLM およびツール API の前に配置されるオープンソースのコントロールプレーンです。単一の OpenAI 互換 HTTP エンドポイント（/v1）を提供し、リクエストを多数のバックエンド（OpenAI、Azure、Anthropic などのホスト型サービス、またはセルフホスト型推論クラスター）にルーティングし、認証、クォータ、フェイルオーバー、使用状況の帰属を処理します。

重要性 – 大規模組織では、同じアプリケーションが複数の LLM プロバイダーを呼び出す必要があり、各プロバイダーには独自のキー、レート制限、価格設定があります。Agent Router はその配管を集中化し、開発者が使い慣れた OpenAI クライアントライブラリを引き続き使用し、ルーターがどのモデルを呼び出すか、ポリシーの適用、メトリクスの収集を決定できるようにします。

コアコンポーネント

• Envoy – トラフィックを実際に転送する高性能プロキシ。
• Envoy Gateway – Kubernetes ネイティブな CRD とコントロールプレーンロジックを追加。
• CLI（aigw） – ローカルでルーターを実行（aigw run）または Helm を使用してクラスターにインストールできます。
• CRD – AIGatewayRoute、AIServiceBackend、BackendSecurityPolicy（すべて aigateway.envoyproxy.io の下）。

使用方法

1. CLI または Helm チャートをインストールします。
2. CRD を使用して各プロバイダーのバックエンド（API キー、エンドポイント、クォータ）を定義します。
3. 受信モデル名またはパスを特定のバックエンドにマッピングするルーティングルールを作成します。
4. アプリケーションを http://localhost:1975/v1（ローカル）またはクラスターサービス URL にポイントします。ルーターはリクエストを書き換え、適切な認証ヘッダーを追加し、転送します。

サポートされているプロバイダー – OpenAI、Azure OpenAI、Anthropic、Google Gemini、AWS Bedrock、Mistral、Cohere、Groq、Together AI、DeepInfra、DeepSeek、Hunyuan、SambaNova、Grok、Tetrate 自身のサービス、BitDeer、Eden AI、Lanseq、Tencent LLM Knowledge Engine、TypeSafe AI など、多数の商用 LLM サービスが組み込まれています。

デプロイオプション

• スタンドアロン – ラップトップで OPENAI_API_KEY=… aigw run を実行して簡単にテストできます。
• Kubernetes – 2 層ゲートウェイパターンをデプロイします。認証/レート制限用の Tier-1 ゲートウェイと、セルフホスト型モデルサービングクラスターと通信する Tier-2 ゲートウェイです。

コミュニティとガバナンス – Linux Foundation Projects 傘下の Agentic AI Foundation の一部です。貢献は LF の行動規範に従います。Discord、毎週のコミュニティミーティング、公開ドキュメントがあります。

---

結論 – Agent Router は、Envoy のパフォーマンスと Kubernetes ネイティブ管理に支えられた、多数の LLM プロバイダーへの統一された OpenAI スタイルのフロントドアを提供する、本番グレードのオープンソースプロジェクトです。