itbench-hub/ITBench

해결하는 문제

ITBench는 AI 에이전트가 복잡한 실제 IT 자동화 작업을 얼마나 잘 처리할 수 있는지 측정할 수 있는 표준화된 방법을 제공합니다. 이는 사이트 신뢰성 공학(SRE), 준수 및 보안(CISO), 재무 운영(FinOps)을 위한 에이전트를 테스트할 수 있는 현실적인 환경이 부족한 문제를 해결합니다.

작동 방식

이 프로젝트는 Kubernetes 기반 환경을 사용하여 실제 IT 사고 및 시나리오를 재현합니다. 이러한 환경을 설정하기 위한 버튼 하나로 실행 가능한 도구와 시나리오를 실행하기 위한 프레임워크를 제공합니다. 사용자는 서비스의 높은 오류율을 수정하거나 준수 상태를 평가하는 등의 문제를 해결하기 위해 에이전트를 배포할 수 있으며, 성능은 관리되는 랭킹 보드에서 추적됩니다.

대상 사용자

기업 IT 자동화를 위한 AI 에이전트를 개발하는 연구자 및 개발자, 특히 신뢰성, 보안, 비용 최적화에 초점을 맞춘 사람들에게 적합합니다.

주요 특징

• 기업 중심: SRE, CISO, FinOps의 세 가지 핵심 IT 영역을 커버합니다.
• Kubernetes 네이티브: Kubernetes를 사용하여 실제 운영 환경을 시뮬레이션합니다.
• 기준 에이전트: CrewAI 프레임워크로 구축된 오픈소스 기준 에이전트를 포함합니다.
• 관리형 평가: 시나리오 배포 및 에이전트 평가를 완전히 관리하는 플랫폼을 제공합니다.