envoyproxy/ai-gateway

Manages Unified Access to Generative AI Services built on Envoy Gateway

What it solves

애플리케이션 클라이언트에서 다양한 생성 AI 서비스로의 요청 트래픽을 중앙에서 관리할 수 있게 하여 LLM 공급자를 통합하고 관리하는 작업을 단순화합니다.

How it works

두 단계 게이트웨이 패턴을 사용합니다:

  • Tier One Gateway: 인증, 최상위 라우팅 및 전역 속도 제한을 처리하는 중앙 진입점 역할을 합니다.
  • Tier Two Gateway: 자체 호스팅 모델 서빙 클러스터로 들어오는 트래픽을 관리하며, 세밀한 접근 제어를 제공하고 엔드포인트 피커 지원을 사용해 LLM 추론을 최적화합니다.

Who it’s for

OpenAI, Google Gemini, Anthropic 등 여러 AI 공급자(또는 자체 호스팅 모델 클러스터)로의 트래픽을 관리해야 하는 개발자 및 플랫폼 엔지니어를 위한 것입니다.

Highlights

  • OpenAI, Azure OpenAI, Google Gemini, Vertex AI, AWS Bedrock, Mistral, Cohere, Groq, Together AI, DeepInfra, DeepSeek, Hunyuan, SambaNova, Grok, Tetrate Agent Router Service 등 다양한 AI 공급자를 지원합니다.
  • 중앙 제어와 최적화된 추론 라우팅을 위한 2계층 아키텍처를 구현했습니다.
  • Envoy Gateway 위에 구축되었습니다.