agentgateway/agentgateway

What it solves

Agentgateway 解决了将 AI 代理连接到 LLM、工具和其他代理的复杂性。它提供一个集中式代理来处理安全性、可观测性和治理，消除开发者为每个代理工作流手动构建这些基础设施组件的需求。

How it works

它作为一个基于 AI 原生协议（如 MCP（Model Context Protocol）和 A2A）的开源代理运行。流量通过多个专用网关路由：

• LLM Gateway：将多个 LLM 提供商统一到一个兼容 OpenAI 的 API，提供支出控制和负载均衡。
• MCP Gateway：使用各种传输方式（stdio、HTTP、SSE）和 OAuth，将 LLM 连接到外部数据和工具。
• A2A Gateway：促进不同代理之间的安全通信和任务协作。
• Inference Routing：根据实时指标（如 GPU 利用率和队列深度）将流量导向自托管模型。

Who it’s for

它面向构建 Agentic AI 系统的开发者和组织，提供生产就绪的方式来管理连接、强制护栏并监控跨不同框架和环境的通信。

Highlights

• Multi-layered Guardrails：通过正则表达式、OpenAI moderation、AWS Bedrock 和 Google Model Armor 进行内容过滤。
• Enterprise Security：包括 JWT、API 密钥、OAuth，以及使用 CEL 策略引擎的细粒度 RBAC。
• Observability：集成 OpenTelemetry 提供指标、日志和追踪。
• Deployment Flexibility：支持独立安装和通过内置控制器及 Gateway API 的 Kubernetes 部署。