Kong/kong

🦍 The API and AI Gateway

解决的问题

Kong Gateway 为微服务、传统 API 和 AI 驱动的工作负载提供集中式流量管理与编排层。它消除了工程团队为每个服务单独实现重复性基础设施任务(如认证、路由和负载均衡)的需要。

工作原理

Kong 作为一个云原生代理,位于客户端和服务之间。它采用插件化架构来扩展功能,允许用户添加速率限制或日志记录等功能。对于 AI 工作负载,它提供了一个通用的 LLM API,可通过单一接口在不同提供商(如 OpenAI、Anthropic 和 Azure AI)之间路由流量,并管理用于代理工作流的 Model Context Protocol (MCP) 流量。

适用人群

专为需要管理可扩展 API 流量、编排基于 LLM 的应用,或在 Kubernetes 或裸金属环境中安全监控 MCP 流量的平台工程师和开发者设计。

主要亮点

  • 通用 LLM API:通过单一接口在多个 LLM 提供商之间路由请求。
  • MCP 治理:提供从 RESTful API 自动生成 MCP 的安全、可观测性和自动生成能力。
  • AI 专用工具:包含语义安全、语义路由和 AI 缓存。
  • 可扩展架构:支持超过 60 个 AI 功能,以及涵盖 Lua、Go 和 JavaScript 的庞大插件库。

相关

  • 项目
  • 项目
  • 项目
  • 项目