theagentrouter/agent-router

解決的問題

Agent Router 提供一個集中式的控制平面，用於管理 AI 與代理流量。它消除了應用團隊需要為不同模型與工具管理多個不同 API 的需求，同時讓平台團隊能在託管提供者與自托管推理伺服器之間，集中實施安全、配額與路由策略。

工作原理

基於 Envoy 與 Envoy Gateway 建構，此專案實作了雙層網關模式：

• 一級網關： 作為主要入口點，處理驗證、全域限流與頂層路由。
• 二級網關： 管理對自托管模型叢集的入站流量，提供細粒度控制與端點選擇器支援，以優化 LLM 推理。

它提供單一的 OpenAI 相容 API，抽象化各種 AI 提供者（如 OpenAI、Azure OpenAI、Google Gemini、Anthropic 等）與 MCP 伺服器之間的差異。

適用對象

• 應用團隊： 希望在不為每個提供者變更程式碼的情況下，與多個 AI 模型與工具使用一致 API 的團隊。
• 平台團隊： 需要集中管理 AI 流量憑證、故障轉移、使用量歸屬與配額的團隊。

主要亮點

• OpenAI 相容 API： 為廣泛的託管與自托管 AI 提供者提供統一介面。
• 基於 Envoy： 利用 Envoy Proxy 強大的流量管理能力。
• 雙層架構： 將全域入口點關注點與特定模型叢集最佳化分離。
• 廣泛支援提供者： 與 OpenAI、Azure、Google、AWS Bedrock、Mistral、Cohere 與 DeepSeek 等主要提供者整合。