theagentrouter/agent-router

解决的问题

Agent Router 提供一个集中式的控制平面，用于管理 AI 和代理流量。它消除了应用团队需要为不同模型和工具管理多个不同 API 的需求，同时允许平台团队在托管提供商和自托管推理服务器之间集中实施安全、配额和路由策略。

工作原理

基于 Envoy 和 Envoy Gateway 构建，该项目实现了双层网关模式：

• 一级网关： 作为主要入口点，处理认证、全局限流和顶层路由。
• 二级网关： 管理对自托管模型集群的入站流量，提供细粒度控制和端点选择器支持，以优化 LLM 推理。

它提供单一的 OpenAI 兼容 API，抽象了各种 AI 提供商（如 OpenAI、Azure OpenAI、Google Gemini、Anthropic 等）和 MCP 服务器之间的差异。

适用人群

• 应用团队： 希望在不为每个提供商更改代码的情况下，与多个 AI 模型和工具使用一致 API 的团队。
• 平台团队： 需要集中管理 AI 流量的凭据、故障转移、使用量归属和配额的团队。

主要亮点

• OpenAI 兼容 API： 为广泛的托管和自托管 AI 提供商提供统一接口。
• 基于 Envoy： 利用 Envoy Proxy 强大的流量管理能力。
• 双层架构： 将全局入口点关注点与特定模型集群优化分离开来。
• 广泛支持提供方： 与 OpenAI、Azure、Google、AWS Bedrock、Mistral、Cohere 和 DeepSeek 等主要提供方集成。