higress-group/higress

解決する課題

Higressは、AIワークロード特有の要求を処理するために設計されたAIネイティブなAPIゲートウェイです。複数のLLMプロバイダーを統一されたプロトコルで管理する問題を解決し、トークンレート制限、マルチモデル負荷分散、AI可観測性といった不可欠なプロダクションレベルの制御を提供します。また、Model Context Protocol (MCP) サーバーをホストすることでAIエージェントのデプロイを簡素化し、エージェントがツールやサービスにより確実にアクセスできるようにします。

仕組み

IstioとEnvoyをベースに構築されたHigressは、Wasm (WebAssembly) プラグインアーキテクチャを採用しています。これにより、ゲートウェイを再起動することなく、Go、Rust、またはJavaScriptで記述されたプラグインを使用してゲートウェイのロジックを拡張できます。リクエストおよびレスポンスボディの真のストリーミング処理をサポートしており、SSE (Server-Sent Events) のような高帯域幅のAIストリーミングプロトコルにおけるメモリオーバーヘッドを大幅に削減します。

対象ユーザー

• AI開発者: さまざまなモデルプロバイダーに接続するための統一された方法を必要とする、エージェントやLLM駆動型アプリを構築する開発者。
• プラットフォームエンジニア: 本番環境に対応したKubernetes Ingress Controllerや、リソースオーバーヘッドの低いマイクロサービスゲートウェイを必要とするチーム。
• エンタープライズAIチーム: AIツール呼び出しやLLM APIに対して、きめ細かなセキュリティ、監査ログ、レート制限を必要とする組織。

主な特徴

• AIゲートウェイ機能: LLMプロバイダー向けの統一プロトコル、トークンベースのレート制限、Kubernetes上での推論認識ルーティング。
• MCPサーバーホスティング: リモートMCPサーバーをホストおよび管理する機能。OpenAPI仕様をMCPサーバーに変換するツールも含まれます。
• プロダクション品質: 設定変更時のトラフィックのジッターを排除し、AIストリーミングのための安定した長時間の接続を保証します。
• Wasmプラグインシステム: メモリセーフでサンドボックス化されたプラグインにより、トラフィックを損失することなくホットアップデートをサポートします。
• クラウドネイティブ: Kubernetes IngressおよびGateway APIsと互換性のあるCNCF Sandboxプロジェクトです。