higress-group/higress
🤖 AI Gateway | AI Native API Gateway
解决的问题
Higress 是一个专为简化大型语言模型（LLM）API 和模型上下文协议（MCP）服务器管理而设计的 AI 原生 API 网关。它通过提供统一协议连接多个模型提供商，同时为 AI 驱动的应用程序提供生产级的流量管理、安全性和可观测性。
工作原理
基于 Istio 和 Envoy 构建，Higress 使用 Wasm（WebAssembly）插件机制扩展其功能。这使其能够作为 LLM API 和 MCP 服务器的统一入口点，提供一个抽象层，处理认证、限流和路由。它支持请求和响应体的真正流式处理，显著降低了使用 Server-Sent Events（SSE）等高带宽 AI 服务的内存开销。
适用人群
适用于需要安全、可扩展且可观测的网关来管理其模型提供商和工具调用服务的开发者和组织，特别是构建 AI 代理和 LLM 驱动应用的用户。
主要亮点
- AI 网关功能：支持所有主流模型提供商的统一协议，多模型负载均衡，令牌速率限制，缓存。
- MCP 服务器托管：通过插件托管 MCP 服务器，使 AI 代理能够调用工具和服务；包含一个将 OpenAPI 规范转换为远程 MCP 服务器的工具。
- Wasm 插件系统：支持使用 Go、Rust 或 JS 编写的插件，实现内存安全、无流量损失的热更新网关逻辑。
- 云原生：CNCF Sandbox 项目，兼容 Kubernetes Ingress 和 Gateway API 标准。
- 生产级：在配置变更期间消除流量抖动，非常适合长期连接型 AI 业务。
相关
- 项目
hatchet-dev/hatchetHatchet 是一个开源编排引擎，可让您可靠地运行后台任务、AI代理流水线和持久工作流。它将所有状态存储在 PostgreSQL 中，提供重试、调度、DAG、速率限制、优先级队列和实时 UI，并提供 Python、TypeScript、Go 和 Ruby 的 SDK。您可以将其作为托管云服务使用，或通过 Docker 自托管。
- Dispatch
HUGS 发布：零配置、硬件优化的开源 LLM 推理Hugging Face 推出 HUGS，这是一项零配置、硬件优化的开源 LLM 推理服务，支持 NVIDIA、AMD，未来还将支持 AWS Inferentia 和 Google TPU，使企业能够在内部托管模型，并提供兼容 OpenAI 的 API。
- 项目
microsoft/mcp-gatewayMCP Gateway 是一个开源的、原生 Kubernetes 的反向代理和管理层，用于 Model Context Protocol (MCP) 服务器。它提供 REST 控制平面，用于创建、更新和监控 MCP 适配器和工具，支持会话感知路由、Azure Entra ID RBAC、内置 React 管理门户，以及可选的 LLM 驱动代理。可通过 Docker/K8s 本地部署，或使用一键式 Azure 模板部署。
- 项目
DevYangJC/ArgusArgus 是一个开源、企业级的 RAG 平台，能够导入私有文档，构建向量与关键字索引，并通过必须引用真实来源的 LLM 来回答问题。它包含基于 Spring AI 的 ReactAgent 聊天功能、结合 RRF 融合的混合检索、多级证据评分、基于角色的安全机制，以及 Vue 3 前端。
- 项目
yuruotong1/autoMateautoMate 是一个本地托管服务，为 AI 聊天客户端提供持久的个人存储（笔记、文件、提醒、长期记忆）和现实世界操作工具箱（Shell、浏览器、SaaS API）。它通过 MCP-over-HTTP 桥接与客户端通信，兼容 OpenClaw、Claude Desktop、Cursor、Cline 等，也可通过其自身 Web 聊天、Chrome 扩展、Docker 容器或二进制文件使用。