theagentrouter/agent-router

Agent Router – 快速概览

它是什么 – Agent Router（前身为 Envoy AI Gateway）是一个开源控制平面，位于 LLM 和工具 API 之前。它提供一个单一的、兼容 OpenAI 的 HTTP 端点（/v1），并允许你将请求路由到多个后端——托管服务（OpenAI、Azure、Anthropic 等）或自托管推理集群——同时处理认证、配额、故障转移和使用归属。

为什么重要 – 在大型组织中，同一应用程序可能需要调用多个 LLM 提供商，每个提供商都有自己的密钥、速率限制和定价。Agent Router 集中了这些管道，使开发人员可以继续使用熟悉的 OpenAI 客户端库，并让路由器决定调用哪个模型、执行策略和收集指标。

核心组件

• Envoy – 高性能代理，实际转发流量。
• Envoy Gateway – 添加 Kubernetes 原生 CRD 和控制平面逻辑。
• CLI（aigw） – 允许你在本地运行路由器（aigw run）或通过 Helm 在集群上安装。
• CRD – AIGatewayRoute、AIServiceBackend、BackendSecurityPolicy（均在 aigateway.envoyproxy.io 下）。

如何使用

1. 安装 CLI 或 Helm chart。
2. 使用 CRD 为每个提供商定义后端（API 密钥、端点、配额）。
3. 创建路由规则，将传入的模型名称或路径映射到特定后端。
4. 将你的应用程序指向 http://localhost:1975/v1（本地）或集群服务 URL。路由器重写请求，添加正确的认证头，并转发。

支持的提供商 – 内置了众多商业 LLM 服务，包括 OpenAI、Azure OpenAI、Anthropic、Google Gemini、AWS Bedrock、Mistral、Cohere、Groq、Together AI、DeepInfra、DeepSeek、Hunyuan、SambaNova、Grok、Tetrate 自己的服务、BitDeer、Eden AI、Lanseq、腾讯 LLM 知识引擎、TypeSafe AI 等。

部署选项

• 独立 – 在笔记本电脑上运行 OPENAI_API_KEY=… aigw run 进行快速测试。
• Kubernetes – 部署两层网关模式：一层网关用于认证/速率限制，二层网关与自托管模型服务集群通信。

社区与治理 – 属于 Linux 基金会项目下的 Agentic AI Foundation 的一部分。贡献遵循 LF 行为准则；有 Discord、每周社区会议和公开文档。

---

底线 – Agent Router 是一个真实的、生产级的开源项目，为你提供统一的、OpenAI 风格的多 LLM 提供商入口，并依托 Envoy 的性能和 Kubernetes 原生管理。