agentgateway/agentgateway

What it solves

Agentgateway は、AI エージェントを LLM、ツール、他のエージェントに接続する際の複雑さを解消します。セキュリティ、可観測性、ガバナンスを一元管理するプロキシを提供し、開発者がエージェントワークフローごとにこれらのインフラを手動で構築する必要をなくします。

How it works

AI ネイティブプロトコル（MCP（Model Context Protocol）や A2A）をベースにしたオープンソースプロキシとして動作します。トラフィックは複数の専門ゲートウェイを経由してルーティングされます：

• LLM Gateway：複数の LLM プロバイダーを OpenAI 互換 API に統合し、支出コントロールとロードバランシングを提供します。
• MCP Gateway：stdio、HTTP、SSE など様々なトランスポートと OAuth を用いて、LLM を外部データやツールに接続します。
• A2A Gateway：異なるエージェント間の安全な通信とタスク協調を実現します。
• Inference Routing：GPU 使用率やキュー深度といったリアルタイム指標に基づき、セルフホストモデルへトラフィックを振り分けます。

Who it’s for

エージェントAIシステムを構築する開発者や組織向けです。接続管理、ガードレールの適用、異なるフレームワークや環境間の通信監視を本番環境で実現できます。

Highlights

• Multi-layered Guardrails：正規表現、OpenAI moderation、AWS Bedrock、Google Model Armor によるコンテンツフィルタリング。
• Enterprise Security：JWT、API キー、OAuth、そして CEL ポリシーエンジンを用いた細粒度 RBAC を含みます。
• Observability：メトリクス、ログ、トレースのために OpenTelemetry を統合。
• Deployment Flexibility：スタンドアロンインストールと、組み込みコントローラと Gateway API を使用した Kubernetes デプロイの両方をサポート。