Azure-Samples/ai-hub-gateway-solution-accelerator

解决的问题

Citadel Governance Hub 提供了一个集中式的企业级「落地区」，用于管理 AI 部署。它解决了在大型组织中扩展 AI 的同时，保持严格的安全性、合规性和可观测性的问题。各团队不再各自孤立地部署 AI 模型，而是通过此中心化网关强制执行运行时策略、管理成本，并确保所有 AI 工作负载的一致性安全防护措施。

工作原理

该项目采用中心-分支架构，中央治理层（Hub）管理运行时控制平面，而各个业务单元则独立运营其自身的代理执行平面（Spokes）。

主要组件包括：

• 统一 AI 网关：由 Azure API Management 驱动，处理路由、令牌速率限制和身份验证。
• 契约驱动治理：使用 Infrastructure-as-Code（Bicep/Terraform）管理「供应端」（LLM 容量的后端契约）和「需求端」（特定用例策略的访问契约）。
• 安全层：集成 Azure Content Safety 实现提示屏蔽，使用 Azure Language Service 进行 PII 检测与匿名化。
• 可观测性堆栈：结合 Log Analytics、Application Insights、Event Hub 和 Cosmos DB，实现使用数据的近实时流式传输与分析。

适用对象

需要在 Azure 上大规模部署可治理、安全且可重复的 AI 应用和代理基础架构的企业平台团队和 AI 架构师。

主要亮点

• 声明式治理：所有模型访问或策略的变更均通过 .bicepparam 文件进行版本控制，而非手动门户配置。
• 多提供商支持：支持路由至多种后端，包括 Microsoft Foundry、Azure OpenAI 和外部 OpenAI 兼容提供商。
• 自动化防护：内置 PII 检测、内容过滤和分层认证（API 密钥 + JWT）支持。
• 集成注册中心：使用 Azure API Center 实现可用 AI 工具、代理和服务的发现。