envoyproxy/ai-gateway

Manages Unified Access to Generative AI Services built on Envoy Gateway

What it solves

它提供了一种集中式的方式来管理应用客户端对各种生成式 AI 服务的请求流量，简化了 LLM 提供商的集成与管理。

How it works

它使用两层网关模式：

  • Tier One Gateway：作为集中入口点，处理认证、顶层路由和全局速率限制。
  • Tier Two Gateway：管理进入自托管模型服务集群的流量，提供细粒度的访问控制，并使用端点挑选支持来优化 LLM 推理。

Who it’s for

需要管理多个 AI 提供商（如 OpenAI、Google Gemini、Anthropic 等）或自托管模型集群流量的开发者和平台工程师。

Highlights

  • 支持广泛的 AI 提供商，包括 OpenAI、Azure OpenAI、Google Gemini、Vertex AI、AWS Bedrock、Mistral、Cohere、Groq、Together AI、DeepInfra、DeepSeek、Hunyuan、SambaNova、Grok 与 Tetrate Agent Router Service。
  • 实现两层架构以提供集中控制和优化的推理路由。
  • 基于 Envoy Gateway 构建。