SREGym/SREGym

해결하는 문제

SREGym은 사이트 신뢰성 엔지니어링(SRE)을 위해 설계된 AI 에이전트를 위한 고충실도 벤치마킹 플랫폼을 제공합니다. CPU 고갈, TLS 불일치, 네트워크 정책 차단과 같은 실제 클라우드 장애를 진단하고 완화하는 능력을 AI 에이전트에서 테스트할 수 있는 라이브 현실적 환경의 부족을 해결합니다.

작동 방식

이 플랫폼은 라이브 시스템 환경(자체 관리 또는 Kind를 통해 에뮬레이션된 Kubernetes 클러스터 사용)을 생성하며, 에이전트는 격리된 Docker 컨테이너에 배포됩니다. 이러한 에이전트는 90개의 다양한 SRE 문제를 해결하려고 시도하며, 진단 및 완화의 두 가지 주요 단계를 거칩니다. 시스템은 판정 모델을 사용하여 에이전트의 성능을 평가하고, LiteLLM을 통해 다양한 LLM 공급자를 지원합니다(로컬 모델은 Ollama를 통해 포함).

대상 사용자

AIOps 및 SRE를 위한 차세대 AI 에이전트를 구축하는 연구자와 개발자, 그리고 복잡한 클라우드 환경에서 LLM 기반 문제 해결 도구의 효과를 평가하려는 사람들을 위해 설계되었습니다.

주요 특징

• 광범위한 문제 세트: 90개의 SRE 문제를 포함하며, OS 수준 장애, 준안정 장애, 동시 장애를 다룹니다.
• 실제 시뮬레이션: Cloudflare WAF 정규식 CPU 고갈 및 Reddit Pi-Day 장애와 같은 주목할 만한 장애를 시뮬레이션합니다.
• 유연한 인프라: 리더보드급 결과를 위한 전체 Kubernetes 클러스터와 메모리 제약이 있는 로컬 반복을 위한 "슬림" 프로필을 모두 지원합니다.
• 격리된 실행: 에이전트는 보안을 보장하고 내부 평가 로직에 대한 접근을 방지하기 위해 네트워크 액세스가 필터링된 강화된 Docker 컨테이너에서 실행됩니다.