Portkey-AI/gateway

A blazing fast AI Gateway with integrated guardrails. Route to 1,600+ LLMs, 50+ AI Guardrails with 1 fast & friendly API.

What it solves

Portkey AI Gateway 是一个轻量级、开源的路由层，允许开发者使用单一统一的 API 集成来自 45+ 家供应商的超过 1,600 种语言、视觉、音频和图像模型。它消除了为每个不同 AI 供应商编写自定义集成代码的需求，并通过自动重试和回退等可靠性功能帮助防止应用停机。

How it works

网关充当您的应用程序与各 AI 供应商之间的代理。您使用兼容 OpenAI 签名的方式向网关发送请求，网关根据已定义的配置将请求路由到指定的供应商。这些配置允许您在不更改应用代码的情况下设置路由规则、可靠性设置和防护措施。

Who it’s for

它面向需要保持高可用性、管理多个 LLM 供应商，并确保 AI 部署安全合规的开发者和企业。

Highlights

  • Reliable Routing: 包含具指数退避的自动重试、失败时回退到其他模型，以及在多个 API 密钥或供应商之间的负载均衡。
  • Security & Accuracy: 提供内置防护以验证输入输出、安全的密钥管理和基于角色的访问控制。
  • Cost Management: 提供智能缓存（简单和语义）和使用分析，以监控成本和延迟。
  • Multi-modal Support: 支持视觉、音频（TTS/STT）和图像生成模型。
  • Agent Framework Integration: 可无缝集成 Autogen、CrewAI、LangChain 和 LlamaIndex 等框架。
  • MCP Gateway: 为管理 Model Context Protocol（MCP）服务器提供具认证和可观测性的集中控制平面。