Azure-Samples/AI-Gateway

解决的问题

生产环境的 AI 应用不仅需要简单的 API 调用，还需要中央治理来管理安全、可靠性、可观测性以及成本，同时不阻碍开发速度。本项目提供了一个框架，用于实现企业级 AI 网关，以中介 AI 应用与底层模型、工具和代理之间的交互。

工作原理

基于 Azure API Management (APIM) 构建，该网关作为控制平面，在 AI 服务中强制执行策略。它利用 Jupyter Notebook、Bicep 基础设施模板和 APIM 策略来部署特定功能，例如：

• 模型管理：实现后端池之间的负载均衡、令牌速率限制，以及使用向量相似性进行语义缓存。
• 工具集成：通过 Model Context Protocol (MCP) 实现安全的工具访问，并通过 Azure Functions 支持函数调用。
• 代理编排：使用 OpenAI Agents SDK 和 Gemini MCP Agents 等框架管理代理应用。
• 治理：应用 FinOps 框架进行预算控制，并实施内容安全过滤以保障安全。

适用人群

需要以集中方式管理多个 AI 模型和工具，同时保持合规性、可见性和成本控制的大规模 AI 应用开发者和架构师。

主要亮点

• 全面的实验库：包含 30 多个动手实验，涵盖模型路由、语义缓存和 MCP 协议支持。
• MCP 支持：与 Model Context Protocol 集成，实现即插即用的工具管理。
• 企业级治理：内置对 OAuth 2.0、托管标识和基于令牌的指标的支持。
• AI 辅助开发：包含 Copilot Agent Skills，帮助开发者快速搭建新实验并生成 Bicep 或 Terraform 配置。