Azure-Samples/ai-hub-gateway-solution-accelerator

해결하는 문제

Citadel Governance Hub는 AI 배포를 위한 중앙집중식 기업용 '랜딩 존'을 제공합니다. 대규모 조직 내에서 AI 혁신을 확장하면서도 엄격한 보안, 준수 및 감시를 유지하는 문제를 해결합니다. 각 팀이 AI 서비스를 고립된 상태로 배포하는 대신, 이 핵심은 일관된 정책을 적용하고 비용을 관리하며 모든 AI 사용에 대한 안전 보호 장치를 보장하는 통제된 게이트웨이 역할을 합니다.

작동 방식

이 프로젝트는 중앙 제어 플레인( Governance Hub)이 AI 정책의 런타임 실행을 관리하는 허브 앤 스포크 아키텍처를 구현합니다. Azure API Management를 통합된 AI 게이트웨이로 사용하여 요청을 다양한 LLM 백엔드로 라우팅합니다.

가이드라인은 인프라로서 코드(IaC, Bicep/Terraform)를 사용하는 '계약 기반' 접근 방식으로 관리되며, 세 가지 유형의 계약이 있습니다:

• 백엔드 계약: 사용 가능한 LLM 백엔드 및 모델(예: Azure OpenAI, Amazon Bedrock)을 정의합니다.
• 접근 계약: 특정 모델에 접근할 수 있는 에이전트 또는 사업부, 그리고 해당 모델에 적용되는 정책(예: PII 탐지, 콘텐츠 안전성)을 정의합니다.
• 게시 계약: 게이트웨이를 통해 AI 도구(MCP) 및 에이전트(A2A)를 게시할 수 있도록 허용합니다.

대상 사용자

다양한 비즈니스 부서와 다양한 AI 워크로드를 지원하는 Azure 기반의 안전하고 확장 가능하며 감시 가능한 AI 인프라를 구축해야 하는 엔터프라이즈 플랫폼 팀 및 AI 아키텍트.

주요 특징

• 통합 AI 게이트웨이: Azure API Management를 사용한 중앙 집중식 라우팅, 레이트 제한 및 신원 검증.
• 계약 기반 가이드라인: IaC를 통해 선언적이고 버전 관리 가능한 모델 및 사용 사례의 온보딩.
• 통합 안전성: PII 탐지 및 콘텐츠 안전 보호 기능을 내장한 지원.
• 엔터프라이즈 감시: Event Hub와 Cosmos DB를 사용한 중앙 집중식 로깅 및 실시간 사용 분석.
• 유연한 네트워킹: 전용 스포크 VNet 및 통합 기업 허브 VNet 배포 패턴을 모두 지원.