agentgateway/agentgateway

解决的问题

Agentgateway 为 Agentic AI 提供统一的连接和安全层。它解决了管理代理、LLM 和外部工具之间复杂通信的问题，提供了一种集中处理安全、可观测性和治理的方式，而无需在每个单独的代理框架中重新构建这些功能。

工作原理

它作为一个基于 MCP（模型上下文协议）和 A2A（代理到代理）等 AI 原生协议的开源代理。它通过三个主要网关路由流量：

• LLM 网关：一个统一的 OpenAI 兼容 API，将流量路由到各种提供商（OpenAI、Anthropic、Gemini、Bedrock），内置预算控制和负载均衡。
• MCP 网关：使用各种传输方式（stdio、HTTP、SSE）和 OpenAPI 集成，将 LLM 连接到工具和数据源。
• A2A 网关：促进不同 AI 代理之间的安全通信和任务协作。

此外，它还包括一个用于 Kubernetes 上自托管模型的推理路由系统、用于内容过滤的多层护栏，以及包括 RBAC 和 OpenTelemetry 集成在内的强大安全套件。

适用对象

构建代理工作流的开发者和组织，他们需要一种集中管理不同 LLM 提供商和代理框架之间的 API 密钥、支出、安全策略和工具连接的方式。

亮点

• 统一 API：通过单个 OpenAI 兼容接口访问多个 LLM 提供商。
• 工具联合：通过 MCP 将 LLM 连接到外部数据和工具。
• 代理互操作性：使用 A2A 协议实现安全的代理到代理通信。
• 推理优化：基于 GPU 利用率和 KV 缓存的自托管模型智能路由。
• 企业级安全：内置 RBAC、JWT/OAuth 认证和内容护栏。