envoyproxy/ai-gateway

Manages Unified Access to Generative AI Services built on Envoy Gateway

What it solves

它提供了一種集中式的方式來管理應用程式客戶端對各種生成式 AI 服務的請求流量，簡化了 LLM 供應商的整合與管理。

How it works

它使用兩層閘道模式：

  • Tier One Gateway：作為集中式入口點，處理驗證、頂層路由與全域速率限制。
  • Tier Two Gateway：管理進入自行託管模型服務叢集的流量，提供細緻的存取控制，並使用端點挑選支援來最佳化 LLM 推論。

Who it’s for

需要管理多個 AI 供應商（如 OpenAI、Google Gemini、Anthropic 等）或自行託管模型叢集流量的開發者與平台工程師。

Highlights

  • 支援廣泛的 AI 供應商，包括 OpenAI、Azure OpenAI、Google Gemini、Vertex AI、AWS Bedrock、Mistral、Cohere、Groq、Together AI、DeepInfra、DeepSeek、Hunyuan、SambaNova、Grok 與 Tetrate Agent Router Service。
  • 實作兩層架構以提供集中控制與最佳化的推論路由。
  • 基於 Envoy Gateway 建置。