higress-group/higress

解决的问题

Higress 是一个专为处理 AI 工作负载特定需求而设计的 AI 原生 API 网关。它解决了通过统一协议管理多个 LLM 提供者的问题，同时提供必要的生产级控制，如 Token 速率限制、多模型负载均衡和 AI 可观测性。它还通过托管 Model Context Protocol (MCP) 服务器简化了 AI Agent 的部署，使 Agent 能够更可靠地访问工具和服务。

运作原理

Higress 基于 Istio 和 Envoy 构建，使用 Wasm (WebAssembly) 插件架构。这允许它使用 Go、Rust 或 JavaScript 编写的插件来扩展网关逻辑，而无需重新启动网关。它支持请求和响应主体的真实流式处理，这显著降低了高带宽 AI 流式协议（如 SSE (Server-Sent Events)）的内存开销。

适用对象

• AI 开发者：需要统一方式连接各种模型提供者的 Agent 或 LLM 应用程序开发者。
• 平台工程师：需要生产就绪的 Kubernetes Ingress Controller 或低资源开销微服务网关的团队。
• 企业 AI 团队：需要对 AI 工具调用和 LLM API 进行细粒度安全性、审计日志和速率限制的组织。

特色亮点

• AI 网关功能：LLM 提供者的统一协议、基于 Token 的速率限制，以及 Kubernetes 上的推理感知路由。
• MCP 服务器托管：托管和管理远程 MCP 服务器的能力，包括将 OpenAPI 规范转换为 MCP 服务器的工具。
• 生产级质量：消除配置变更期间的流量抖动，确保 AI 流式传输的稳定长连接。
• Wasm 插件系统：内存安全、沙盒隔离的插件，支持热更新且不丢失流量。
• 云原生：CNCF Sandbox 项目，兼容于 Kubernetes Ingress 和 Gateway APIs。