Azure-Samples/ai-hub-gateway-solution-accelerator

해결하는 문제

Citadel Governance Hub는 AI 배포를 관리하기 위한 중앙집중식 기업용 '랜딩 존'을 제공합니다. 대규모 조직 내에서 AI를 확장하면서도 엄격한 보안, 준수, 감시를 유지하는 문제를 해결합니다. 각 팀이 AI 모델을 고립된 상태로 배포하는 대신, 이 핵심은 실행 시 정책을 강제하고 비용을 관리하며 모든 AI 워크로드에 걸쳐 일관된 보안 가드레일을 보장하는 통합 게이트웨이 역할을 합니다.

작동 방식

이 프로젝트는 중앙 관리 계층(허브)이 실행 시 제어 플레인을 관리하고, 개별 비즈니스 부서가 자체 에이전트 실행 플레인(스포크)을 운영하는 허브 앤 스포크 아키텍처를 구현합니다.

주요 구성 요소는 다음과 같습니다:

• 통합 AI 게이트웨이: Azure API Management로 구동되며, 라우팅, 토큰 레이트 제한, 및 신원 검증을 처리합니다.
• 계약 기반의 거버넌스: Infrastructure-as-Code(Bicep/Terraform)를 사용하여 '공급 측'(LLM 용량용 백엔드 계약)과 '수요 측'(사용 사례별 정책용 액세스 계약)을 관리합니다.
• 보안 레이어: 프롬프트 시딩을 위한 Azure Content Safety와 PII 탐지 및 익명화를 위한 Azure Language Service를 통합합니다.
• 관찰성 스택: Log Analytics, Application Insights, Event Hub, Cosmos DB를 결합하여 사용 데이터를 거의 실시간으로 스트리밍하고 분석합니다.

대상 사용자

Azure에서 대규모로 AI 애플리케이션 및 에이전트를 거버넌스되고 안전하며 반복 가능한 기반으로 배포해야 하는 엔터프라이즈 플랫폼 팀 및 AI 아키텍트를 위한 것입니다.

주요 특징

• 선언적 거버넌스: 모델 액세스 또는 정책의 모든 변경은 수동 포털 구성이 아니라 .bicepparam 파일을 통해 버전 관리됩니다.
• 다중 제공자 지원: Microsoft Foundry, Azure OpenAI, 외부 OpenAI 호환 제공자 등 다양한 백엔드로 라우팅을 지원합니다.
• 자동 가드레일: PII 탐지, 콘텐츠 필터링, 계층적 인증(API 키 + JWT)의 내장 지원.
• 통합 레지스트리: Azure API Center를 사용하여 사용 가능한 AI 도구, 에이전트, 서비스를 탐색합니다.