apache/apisix

解決的問題

Apache APISIX 是一個高性能、動態的 API gateway，專為管理微服務架構的流量而設計。它解決了在無需重啟配置更新的情況下，管理跨多種服務（南北向與東西向流量）的複雜路由、安全性與可觀測性的問題。

工作原理

APISIX 基於 NGINX 與 etcd 構建，使用動態路由系統與靈活的插件架構。它允許使用者透過 Admin API 定義路由與上游，然後將其熱載入到 gateway 中。它支援廣泛的協定（HTTP, gRPC, MQTT, TCP/UDP），並提供多語言插件系統（Java, Go, Python, Node.js, Wasm）來擴展其功能。

適用對象

面向需要可擴展、即時流量管理與安全性的微服務、Kubernetes Ingress 或 AI 工作負載的開發人員與平台工程師。

亮點

• AI Gateway 功能：為 LLM 提供商提供 AI 代理、基於 Token 的速率限制以及跨多個 LLM 的負載平衡。
• AI Agent 整合：包含 mcp-bridge 插件，可將基於 stdio 的 MCP 伺服器轉換為可擴展的 HTTP SSE 服務。
• 全動態配置：支援路由與插件的热更新，無需重啟伺服器。
• 高性能：能夠以極低的延遲（0.2 ms）達到 140,000 QPS。
• 廣泛的協定支援：處理從帶有 QUIC 的 HTTP/3 到 gRPC 轉碼與 MQTT 代理的所有內容。