higress-group/higress
🤖 AI Gateway | AI Native API Gateway
解決的問題
Higress 是一個專為簡化大型語言模型（LLM）API 與模型上下文協定（MCP）伺服器管理而設計的 AI 原生 API 網關。它透過提供統一協定連接多個模型提供者，同時為 AI 驅動的應用程式提供生產級的流量管理、安全性與可觀測性。
工作原理
基於 Istio 與 Envoy 建構，Higress 使用 Wasm（WebAssembly）外掛機制擴展其功能。這使其能作為 LLM API 與 MCP 伺服器的統一入口點，提供一個抽象層，處理驗證、速率限制與路由。它支援請求與回應主體的真正串流處理，大幅降低使用 Server-Sent Events（SSE）等高頻寬 AI 服務的記憶體負擔。
適用對象
適用於需要安全、可擴展且可觀測的網關來管理其模型提供者與工具呼叫服務的開發者與組織，特別是建構 AI 代理與 LLM 驅動應用的使用者。
主要亮點
- AI 網關功能：支援所有主流模型提供者的統一協定，多模型負載平衡，令牌速率限制，快取。
- MCP 伺服器託管：透過外掛託管 MCP 伺服器，讓 AI 代理能呼叫工具與服務；內建工具可將 OpenAPI 規格轉換為遠端 MCP 伺服器。
- Wasm 外掛系統：支援以 Go、Rust 或 JS 編寫的外掛，實現記憶體安全、無流量損失的熱更新網關邏輯。
- 雲原生：CNCF Sandbox 項目，相容 Kubernetes Ingress 與 Gateway API 標準。
- 生產級：在設定變更期間消除流量震盪，非常適合長時間連線型 AI 商業應用。
相關
- 專案
hatchet-dev/hatchetHatchet 是一個開源的編排引擎，可讓您可靠地執行背景任務、AI代理流程與持久工作流。它將所有狀態儲存在 PostgreSQL 中，提供重試、排程、DAG、速率限制、優先權佇列與即時 UI，並提供 Python、TypeScript、Go 和 Ruby 的 SDK。您可以作為托管雲服務使用，或透過 Docker 自架設。
- Dispatch
HUGS 發布：零配置、硬體最佳化的開源大型語言模型推論服務Hugging Face 推出 HUGS，一項零配置、硬體最佳化的開源大型語言模型推論服務，支援 NVIDIA、AMD，未來將支援 AWS Inferentia 與 Google TPU，讓企業能在內部部署模型，並提供相容 OpenAI 的 API。
- 專案
microsoft/mcp-gatewayMCP Gateway 是一個為 Model Context Protocol (MCP) 伺服器打造的開源 Kubernetes-native 反向代理與管理層。它提供了一個 REST 控制平面來建立、更新與監控 MCP adapters 與 tools，並具備 session-aware routing、Azure Entra ID RBAC、內建的 React portal、以及可選的 LLM 驅動 agents。可以透過 Docker/K8s 在本地端部署，或使用一鍵式 Azure 範本進行部署。
- 專案
DevYangJC/ArgusArgus 是一個開源、企業級的 RAG 平台，能夠匯入私有文件，建立向量與關鍵字索引，並透過必須引用真實來源的 LLM 來回答問題。它包含基於 Spring AI 的 ReactAgent 聊天功能、結合 RRF 融合的混合檢索、多層級證據評分、基於角色的安全機制，以及 Vue 3 前端。
- 專案
yuruotong1/autoMateautoMate 是一個本地主機服務，為 AI 聊天客戶端提供持久的個人儲存（筆記、檔案、提醒、長期記憶）和現實世界操作工具箱（Shell、瀏覽器、SaaS API）。它透過 MCP-over-HTTP 橋接與客戶端通訊，相容 OpenClaw、Claude Desktop、Cursor、Cline 等，也可透過其自身 Web 聊天、Chrome 擴充、Docker 容器或二進位檔使用。