agentgateway/agentgateway

解決的問題

Agentgateway 為 Agentic AI 提供統一的連線與安全層。它解決了管理代理、LLM 與外部工具之間複雜通訊的問題，提供了一種集中處理安全性、可觀測性與治理的方式，而無需在每個單獨的代理框架中重新建置這些功能。

運作方式

它作為一個基於 MCP（模型上下文協定）與 A2A（代理到代理）等 AI 原生協定的開源代理。它透過三個主要閘道路由流量：

• LLM 閘道：一個統一的 OpenAI 相容 API，將流量路由到各種提供者（OpenAI、Anthropic、Gemini、Bedrock），內建預算控制與負載平衡。
• MCP 閘道：使用各種傳輸方式（stdio、HTTP、SSE）與 OpenAPI 整合，將 LLM 連接到工具與資料來源。
• A2A 閘道：促進不同 AI 代理之間的安全通訊與任務協作。

此外，它還包括一個用於 Kubernetes 上自架模型的推論路由系統、用於內容過濾的多層護欄，以及包括 RBAC 與 OpenTelemetry 整合在內的強大安全套件。

適用對象

建置代理工作流程的開發者與組織，他們需要一種集中管理不同 LLM 提供者與代理框架之間的 API 金鑰、支出、安全策略與工具連線的方式。

亮點

• 統一 API：透過單一 OpenAI 相容介面存取多個 LLM 提供者。
• 工具聯合：透過 MCP 將 LLM 連接到外部資料與工具。
• 代理互通性：使用 A2A 協定實現安全的代理到代理通訊。
• 推論最佳化：基於 GPU 使用率與 KV 快取的自架模型智慧路由。
• 企業級安全：內建 RBAC、JWT/OAuth 認證與內容護欄。