Azure-Samples/AI-Gateway

해결하는 문제

생산 환경용 AI 애플리케이션은 단순한 API 호출을 넘어서야 합니다. 개발 속도를 방해하지 않으면서도 보안, 신뢰성, 관찰 가능성, 비용을 중앙 집중식으로 관리할 수 있는 거버넌스가 필요합니다. 이 프로젝트는 AI 애플리케이션과 하위 모델, 도구, 에이전트 간의 상호작용을 중개하는 엔터프라이즈 수준의 AI 게이트웨이를 구현하기 위한 프레임워크를 제공합니다.

작동 방식

Azure API Management (APIM)로 구동되는 게이트웨이는 AI 서비스 전반에 걸쳐 정책을 적용하는 제어 평면 역할을 합니다. Jupyter 노트북, Bicep 인프라 템플릿, APIM 정책을 사용하여 다음과 같은 기능을 구현합니다:

• 모델 관리: 백엔드 풀 간의 로드 밸런싱, 토큰 레이트 제한, 벡터 유사도를 활용한 의미적 캐싱 구현.
• 도구 통합: Model Context Protocol (MCP)를 통한 안전한 도구 접근 및 Azure Functions를 활용한 함수 호출.
• 에이전트 오케스트레이션: OpenAI Agents SDK 및 Gemini MCP Agents와 같은 프레임워크를 사용한 에이전트 애플리케이션 관리.
• 거버넌스: 예산 제어를 위한 FinOps 프레임워크 및 보안을 위한 콘텐츠 안전 필터링 적용.

대상 사용자

대규모 AI 애플리케이션을 구축하는 엔터프라이즈 개발자 및 아키텍트. 여러 AI 모델과 도구를 중앙 집중식으로 관리하면서도 컴플라이언스, 가시성, 비용 통제를 유지하고자 하는 분들께 적합합니다.

주요 특징

• 포괄적인 랩 라이브러리: 모델 라우팅, 의미적 캐싱, MCP 프로토콜 지원을 포함한 30개 이상의 실습 랩.
• MCP 지원: 플러그 앤 플레이 방식의 도구 관리를 위한 Model Context Protocol 통합.
• 엔터프라이즈 거버넌스: OAuth 2.0, 관리되는 ID, 토큰 기반 메트릭스를 내장한 지원.
• AI 기반 개발 지원: Copilot Agent Skills를 포함하여 새 랩을 스텁화하고 Bicep 또는 Terraform 구성 파일을 자동 생성하는 데 도움을 줍니다.