higress-group/higress

🤖 AI Gateway | AI Native API Gateway

何を解決するか

Higress は、大規模言語モデル（LLM）API およびモデルコンテキストプロトコル（MCP）サーバーの管理を簡素化する、AIネイティブなAPIゲートウェイです。複数のモデルプロバイダーに接続する際の統一プロトコルを提供しながら、AI駆動アプリケーション向けの本格的なトラフィック管理、セキュリティ、および観測性を実現します。

仕組み

Istio と Envoy を基盤として構築されており、Wasm（WebAssembly）プラグインメカニズムを用いて機能を拡張します。これにより、LLM API および MCP サーバーの統一エントリーポイントとして機能し、認証、レート制限、ルーティングを処理する抽象化レイヤーを提供します。リクエストおよびレスポンスボディの本格的なストリーミング処理をサポートしており、Server-Sent Events（SSE）を用いる高帯域AIサービスにおいて、メモリオーバーヘッドを大幅に削減します。

対象ユーザー

AIエージェントやLLM駆動アプリケーションを開発している開発者および組織で、モデルプロバイダーおよびツールコールサービスを安全に、スケーラブルに、観測可能なゲートウェイで管理したい方を対象としています。

主な特徴

  • AIゲートウェイ機能: 主流のモデルプロバイダーすべてに対応する統一プロトコル、マルチモデルロードバランシング、トークンレート制限、キャッシュ。
  • MCPサーバーホスティング: プラグインを通じてMCPサーバーをホスティングし、AIエージェントがツールやサービスを呼び出せるようにします。OpenAPI仕様をリモートMCPサーバーに変換するツールも提供。
  • Wasmプラグインシステム: Go、Rust、JSで書かれたプラグインをサポート。メモリ安全で、トラフィック損失なしにホットアップデート可能なゲートウェイロジックを実現。
  • クラウドネイティブ: CNCF Sandboxプロジェクトとして、Kubernetes IngressおよびGateway API標準と互換性があります。
  • 本格的運用対応: 設定変更時のトラフィックジッターを排除し、長時間接続型AIビジネスに非常に適しています。

関連

  • プロジェクト
    hatchet-dev/hatchet

    Hatchet は、信頼性の高いバックグラウンドタスク、AIエージェントパイプライン、耐久性ワークフローを実行できるオープンソースのオーケストレーションエンジンです。すべての状態をPostgreSQLに保存し、リトライ、スケジューリング、DAG、レート制限、優先度キュー、リアルタイムUIを提供。Python、TypeScript、Go、Ruby用のSDKも用意されており、マネージドクラウドサービスとして利用するか、Docker経由でセルフホスティングも可能です。

  • Dispatch
    HUGS のローンチ：ゼロ構成、ハードウェア最適化された推論（インフェレンス）をオープンLLM向けに

    Hugging Face は、NVIDIA、AMD、そして近日中に AWS Inferentia と Google TPU でも動作する、オープンソース LLM 向けのゼロ構成・ハードウェア最適化された推論サービス HUGS を発表しました。これにより、企業は OpenAI 互換 API を使用してモデルを社内でホストできるようになります。

  • プロジェクト
    microsoft/mcp-gateway

    MCP Gateway は、Model Context Protocol (MCP) サーバーのためのオープンソースの Kubernetes-native なリバースプロキシおよび管理レイヤーです。MCP adapters と tools を作成、更新、監視するための REST control-plane を提供し、session-aware routing、Azure Entra ID RBAC、組み込みの React ポータル、およびオプションの LLM 駆動エージェントを提供します。Docker/K8s でローカルに展開、またはワンクリックの Azure テンプレートで展開可能です。

  • プロジェクト
    DevYangJC/Argus

    Argus はオープンソースのエンタープライズグレード RAG プラットフォームであり、プライベート文書を取り込み、ベクトルとキーワードのインデックスを構築し、実ソースを引用する必要がある LLM で質問に答えます。Spring AI ベースの ReactAgent によるチャット、RRF フュージョンを用いたハイブリッド検索、マルチレベルの証拠スコアリング、ロールベースのセキュリティ、Vue 3 フロントエンドが含まれています。

  • プロジェクト
    yuruotong1/autoMate

    autoMateは、AIチャットクライアントに永続的な個人用ストレージ（ノート、ファイル、リマインダー、長期記憶）と現実世界のアクションツールボックス（シェル、ブラウザ、SaaS API）を提供するローカルホストサービスです。MCP-over-HTTPブリッジ経由でクライアントと通信し、OpenClaw、Claude Desktop、Cursor、Clineなどに対応。独自のWebチャット、Chrome拡張、Dockerコンテナ、バイナリでも利用可能です。