agentgateway/agentgateway

What it solves

Agentgateway 解決了將 AI 代理連接至 LLM、工具與其他代理的複雜性。它提供一個集中式代理，處理安全性、可觀測性與治理，免除開發者在每個代理工作流程中手動建置這些基礎設施元件的需求。

How it works

它作為一個基於 AI 原生協議（如 MCP（Model Context Protocol）與 A2A）的開源代理運作。流量會透過多個專門的閘道路由：

• LLM Gateway：將多個 LLM 供應商統一於一個相容 OpenAI 的 API，提供支出控制與負載平衡。
• MCP Gateway：使用各種傳輸方式（stdio、HTTP、SSE）與 OAuth，將 LLM 連接至外部資料與工具。
• A2A Gateway：促進不同代理之間的安全通信與任務協作。
• Inference Routing：根據即時指標（如 GPU 使用率與佇列深度）將流量導向自行託管的模型。

Who it’s for

此工具設計給構建 Agentic AI 系統的開發者與組織，提供一套可投入生產環境的連接管理、護欄強制與跨框架、跨環境通訊監控方案。

Highlights

• Multi-layered Guardrails：透過正則表達式、OpenAI moderation、AWS Bedrock 與 Google Model Armor 進行內容過濾。
• Enterprise Security：包含 JWT、API 金鑰、OAuth，以及使用 CEL 政策引擎的細粒度 RBAC。
• Observability：整合 OpenTelemetry 以提供指標、日誌與追蹤。
• Deployment Flexibility：支援獨立安裝與透過內建控制器與 Gateway API 的 Kubernetes 部署。