gateway: 它是什么，解决什么问题以及为什么它正受到关注

它解决的问题

Portkey AI Gateway 是一个轻量级的开源路由层，允许开发者通过单一的统一 API 集成来自 45+ 提供商的 1,600 多种语言、视觉、音频和图像模型。它消除了为每个不同的 AI 提供商编写自定义集成代码的需求，并通过自动重试和回退（fallbacks）等可靠性功能帮助防止应用程序停机。

工作原理

Gateway 作为您的应用程序与各种 AI 提供商之间的代理。您使用与 OpenAI 兼容的签名发送请求到 Gateway，然后 Gateway 根据定义的配置将请求路由到指定的提供商。这些配置允许您在不更改应用程序代码的情况下设置路由规则、可靠性设置和护栏（guardrails）。

适用人群

它专为构建 AI 应用程序的开发者和企业设计，这些用户需要保持高可用性、管理多个 LLM 提供商，并确保其 AI 部署中的安全性和合规性。

亮点

• 可靠的路由：包括带有指数退避（exponential backoff）的自动重试、失败时回退到备选模型，以及在多个 API key 或提供商之间的负载均衡。
• 安全性与准确性：提供内置的护栏（guardrails）以验证输入和输出、安全的密钥管理以及基于角色的访问控制。
• 成本管理：提供智能缓存（简单缓存和语义缓存）以及用于监控成本和延迟的使用分析。
• 多模态支持：支持视觉、音频（TTS/STT）和图像生成模型。
• Agent 框架集成：与 Autogen、CrewAI、LangChain 和 LlamaIndex 等框架无缝集成。
• MCP Gateway：一个用于管理 Model Context Protocol (MCP) 服务器的集中式控制平面，具备身份验证和可观测性功能。