Portkey-AI/gateway

A blazing fast AI Gateway with integrated guardrails. Route to 1,600+ LLMs, 50+ AI Guardrails with 1 fast & friendly API.

What it solves

Portkey AI Gateway 是一個輕量級、開源的路由層，讓開發者只需使用單一統一的 API，即可整合來自 45+ 家供應商的超過 1,600 種語言、視覺、音訊與影像模型。它消除了為每個不同 AI 供應商撰寫自訂整合程式碼的需求，並透過自動重試與備援等可靠性功能，協助防止應用程式停機。

How it works

閘道充當您的應用程式與各 AI 供應商之間的代理。您使用相容 OpenAI 簽名的方式向閘道發送請求，閘道會根據已定義的設定將請求路由至指定的供應商。這些設定允許您在不更改應用程式程式碼的情況下，設定路由規則、可靠性設定與防護機制。

Who it’s for

此工具設計給需要高可用性、管理多個 LLM 供應商，並確保 AI 部署的安全與合規性的開發者與企業。

Highlights

  • Reliable Routing: 包含具指數退避的自動重試、失敗時備援至其他模型，以及在多個 API 金鑰或供應商之間的負載平衡。
  • Security & Accuracy: 提供內建防護機制以驗證輸入與輸出、安全的金鑰管理，以及基於角色的存取控制。
  • Cost Management: 提供智慧快取（簡易與語意）與使用分析，以監控成本與延遲。
  • Multi-modal Support: 支援視覺、音訊（TTS/STT）與影像生成模型。
  • Agent Framework Integration: 可無縫整合 Autogen、CrewAI、LangChain 與 LlamaIndex 等框架。
  • MCP Gateway: 為管理 Model Context Protocol（MCP）伺服器提供具驗證與可觀測性的集中控制平面。