microsoft/AIOpsLab

해결하는 문제

AIOpsLab는 자율적인 AIOps 에이전트를 설계, 개발, 평가하기 위한 표준화된 프레임워크를 제공합니다. 클라우드 환경을 관리하는 AI 에이전트를 위한 재현 가능하고 확장 가능한 벤치마크를 만드는 어려움을 해결하며, 마이크로서비스 배포, 장애 주입, 모니터링 데이터 수집을 자동화함으로써 이를 달성합니다.

작동 방식

이 프레임워크는 AI 에이전트와 시뮬레이션된 또는 원격의 Kubernetes 클러스터 사이의 오케스트레이터 역할을 합니다. Helm 차트를 사용하여 애플리케이션을 자동으로 배포하고, 특정 장애(예: 잘못된 구성)를 주입하며, wrk2와 같은 도구를 사용해 합성 워크로드를 생성할 수 있습니다. 오케스트레이터는 상호작용 루프를 관리합니다: 에이전트에게 문제 설명과 API를 제공하고, 에이전트의 행동을 세션 트레이스에 기록한 후, 정량적 및 정성적 지표를 기반으로 에이전트의 성능을 측정하기 위해 내장된 평가기(evaluators)를 사용합니다.

대상 사용자

• AI 연구자: 시스템 운영을 위한 자율 에이전트를 개발하고 있으며, 이를 표준화된 방식으로 벤치마크할 필요가 있는 사람
• SRE 및 DevOps 엔지니어: AI 기반 자동화를 통해 장애 탐지, 위치 지정, 분석 및 완화를 테스트하고자 하는 전문가
• 소프트웨어 개발자: LLM 기반 운영 에이전트의 한계를 테스트하기 위해 사용자 정의 AIOps 문제나 애플리케이션을 만들고자 하는 사용자

주요 특징

• 엔드투엔드 자동화: Terraform/Ansible를 통해 클러스터 프로비저닝부터 워크로드 생성, 장애 주입까지 모든 과정을 처리합니다.
• 유연한 에이전트 통합: Python 클래스로 래핑되고 비동기 get_action 메서드를 가진 어떤 에이전트든 통합할 수 있습니다.
• 내장된 벤치마크 세트: 탐지, 위치 지정, 분석, 완화 작업에 초점을 맞춘 사전 정의된 문제의 레지스트리가 포함되어 있습니다.
• 다중 클러스터 지원: 로컬 시뮬레이션 클러스터(kind), 원격 Kubernetes 클러스터, Azure VM 모두와 호환됩니다.