gateway: what it is, what problem it solves & why it's gaining traction

What it solves

Portkey AI Gateway 是一个輕量級、開源的路由層，讓開發者可以使用單一、統一的 API 與來自 45+ 提供者的超過 1,600 個語言、視覺、音訊和圖像模型進行整合。它消除了為每個不同的 AI 提供者編寫自定義整合代碼的需求，並透過自動重試和回退（fallbacks）等可靠性功能，幫助防止應用程式停機。

How it works

Gateway 作為您的應用程式與各種 AI 提供者之間的代理（proxy）。您使用與 OpenAI 相容的簽名發送請求到 Gateway，然後 Gateway 會根據定義的配置將請求路由到指定的提供者。這些配置允許您在不更改應用程式代碼的情況下，設置路由規則、可靠性設置和護欄（guardrails）。

Who it’s for

它是為正在構建 AI 應用程式的開發者和企業而設計的，這些用戶需要維持高可用性、管理多個 LLM 提供者，並確保其 AI 部署中的安全性與合規性。

Highlights

• Reliable Routing: 包括具有指數退避（exponential backoff）的自動重試、失敗時回退到替代模型，以及在多個 API keys 或提供者之間進行負載均衡。
• Security & Accuracy: 提供內置的護欄（guardrails）以驗證輸入和輸出，安全的金鑰管理，以及基於角色的訪問控制。
• Cost Management: 提供智能緩存（簡單和語義緩存）以及使用量分析，以監控成本和延遲。
• Multi-modal Support: 支持視覺、音訊 (TTS/STT) 和圖像生成模型。
• Agent Framework Integration: 無縫整合與 Autogen, CrewAI, LangChain, 和 LlamaIndex 等框架。
• MCP Gateway: 一個用於管理 Model Context Protocol (MCP) 伺服器的集中式控制平面，具備身份驗證和可觀測性。