Azure-Samples/ai-hub-gateway-solution-accelerator

解決的問題

Citadel Governance Hub 提供一個集中式、企業級的「落地區」，用於管理 AI 部署。它解決了在大型組織中擴展 AI 的同時，維持嚴格的安全性、合規性與可觀測性的問題。各團隊不再各自孤立地部署 AI 模型，而是透過此中心化網關強制執行執行時策略、管理成本，並確保所有 AI 工作負載的一致性安全防護措施。

工作原理

此專案採用中心-分支架構，中央治理層（Hub）管理執行時控制平面，而各個業務單位則獨立運營其自身的代理執行平面（Spokes）。

主要組件包括：

• 統一 AI 網關：由 Azure API Management 驅動，處理路由、令牌速率限制與身份驗證。
• 契約驅動治理：使用 Infrastructure-as-Code（Bicep/Terraform）管理「供應端」（LLM 容量的後端契約）與「需求端」（特定用例策略的存取契約）。
• 安全層：整合 Azure Content Safety 實現提示屏蔽，使用 Azure Language Service 進行 PII 檢測與匿名化。
• 可觀測性堆疊：結合 Log Analytics、Application Insights、Event Hub 與 Cosmos DB，實現使用資料的近即時串流與分析。

適用對象

需要在 Azure 上大規模部署可治理、安全且可重複的 AI 應用與代理基礎架構的企業平台團隊與 AI 架構師。

主要亮點

• 宣告式治理：所有模型存取或策略的變更均透過 .bicepparam 檔案進行版本控制，而非手動儀表板設定。
• 多提供者支援：支援路由至多種後端，包括 Microsoft Foundry、Azure OpenAI 與外部 OpenAI 相容提供者。
• 自動化防護：內建 PII 檢測、內容過濾與分層驗證（API 金鑰 + JWT）支援。
• 整合註冊中心：使用 Azure API Center 實現可用 AI 工具、代理與服務的發現。