envoyproxy/ai-gateway

Manages Unified Access to Generative AI Services built on Envoy Gateway

What it solves

アプリケーションクライアントからさまざまな生成AIサービスへのリクエストトラフィックを集中管理できるようにし、LLMプロバイダーの統合と管理を簡素化します。

How it works

2層ゲートウェイパターンを使用します：

  • Tier One Gateway：認証、トップレベルのルーティング、グローバルレートリミットを処理する集中エントリーポイントとして機能します。
  • Tier Two Gateway：セルフホスト型モデルサービングクラスターへのインバウンドトラフィックを管理し、細かいアクセス制御を提供し、エンドポイントピッカーサポートを使用してLLM推論を最適化します。

Who it’s for

OpenAI、Google Gemini、Anthropic など複数のAIプロバイダー（またはセルフホスト型モデルクラスター）へのトラフィック管理が必要な開発者やプラットフォームエンジニア向けです。

Highlights

  • OpenAI、Azure OpenAI、Google Gemini、Vertex AI、AWS Bedrock、Mistral、Cohere、Groq、Together AI、DeepInfra、DeepSeek、Hunyuan、SambaNova、Grok、Tetrate Agent Router Service など、幅広いAIプロバイダーをサポート。
  • 集中制御と最適化された推論ルーティングのための2層アーキテクチャを実装。
  • Envoy Gateway 上に構築。