Azure-Samples/AI-Gateway

解決的問題

生產環境的 AI 應用不僅需要簡單的 API 呼叫，還需要中央治理來管理安全性、可靠性、可觀測性以及成本，同時不影響開發速度。本專案提供一個框架，用於實現企業級 AI 網關，以中介 AI 應用與底層模型、工具和代理之間的互動。

工作原理

基於 Azure API Management (APIM) 建構，該網關作為控制平面，在 AI 服務中強制執行策略。它利用 Jupyter Notebook、Bicep 基礎設施範本和 APIM 策略來部署特定功能，例如：

• 模型管理：實作後端池之間的負載平衡、令牌速率限制，以及使用向量相似性進行語意快取。
• 工具整合：透過 Model Context Protocol (MCP) 實現安全的工具存取，並透過 Azure Functions 支援函數呼叫。
• 代理編排：使用 OpenAI Agents SDK 和 Gemini MCP Agents 等框架管理代理應用。
• 治理：應用 FinOps 框架進行預算控制，並實施內容安全過濾以保障安全。

適用對象

需要以集中方式管理多個 AI 模型和工具，同時保持合規性、可見性和成本控制的大規模 AI 應用開發者與架構師。

主要亮點

• 全面的實驗圖書館：包含 30 多個實作實驗，涵蓋模型路由、語意快取和 MCP 協定支援。
• MCP 支援：與 Model Context Protocol 集成，實現即插即用的工具管理。
• 企業級治理：內建支援 OAuth 2.0、管理身分識別和基於權杖的指標。
• AI 輔助開發：包含 Copilot Agent Skills，協助開發者快速建立新實驗並產生 Bicep 或 Terraform 設定。