agentgateway：它是什麼、解決了什麼問題以及為何受到關注

它解決了什麼

agentgateway 針對將 AI 代理與大型語言模型（LLM）、工具以及其他代理連接的複雜性提供解決方案。它提供一個集中式的代理，負責安全性、可觀測性與治理，讓開發者不必為每個代理工作流程手動構建這些基礎設施元件。

它如何運作

它作為一個基於 AI 原生協議（如 MCP（Model Context Protocol）和 A2A）的開源代理運行，並透過多個專門的閘道轉發流量：

• LLM Gateway：將多家 LLM 供應商統一於一個相容 OpenAI 的 API，並提供支出控制與負載平衡。
• MCP Gateway：使用多種傳輸方式（stdio、HTTP、SSE）與 OAuth，將 LLM 連接至外部資料與工具。
• A2A Gateway：促進不同代理之間的安全通信與任務協作。
• Inference Routing：根據即時指標（如 GPU 使用率與佇列深度）將流量導向自行託管的模型。

目標對象

此工具針對構建代理式 AI 系統的開發者與組織設計，提供一套可在生產環境使用的連接管理方式，能夠強制執行防護措施並監控跨不同框架與環境的通信。

重點特色

• 多層防護欄：透過正則表達式、OpenAI moderation、AWS Bedrock 與 Google Model Armor 進行內容過濾。
• 企業安全：支援 JWT、API 金鑰、OAuth，並使用 CEL 政策引擎實現細粒度 RBAC。
• 可觀測性：內建 OpenTelemetry，用於指標、日誌與追蹤。
• 部署彈性：支援獨立安裝與透過內建控制器與 Gateway API 的 Kubernetes 部署。