microsoft/OpenRCA
[ICLR'25] OpenRCA: Can Large Language Models Locate the Root Cause of Software Failures?
해결하는 문제
OpenRCA는 대규모 언어 모델(LLM)이 소프트웨어 장애의 근본 원인을 실제로 찾을 수 있는지 측정하는 과제를 다룹니다. 실제 운영에서는 KPI, 종속성 트레이스, 로그와 같은 방대한 양의 텔레메트리 데이터를 살펴보고 복잡한 시스템 종속성을 추론해야 합니다. 대부분의 벤치마크는 이러한 통합 기술을 테스트하지 않으므로 OpenRCA는 모델과 에이전트가 이 작업에서 얼마나 잘 수행되는지 확인하는 표준 방법을 제공합니다.
작동 방식
OpenRCA는 자연어 쿼리와 실제 근본 원인 기록이 포함된 데이터셋을 제공합니다. 각 쿼리는 모델에게 장애 시간, 장애 구성 요소, 이유를 찾도록 요청합니다. 텔레메트리 데이터는 시스템(Telecom, Bank, Market)별로 구조화되며 로그, 메트릭, 트레이스는 날짜별로 저장됩니다. 평가 스크립트를 실행하여 모델의 예측(JSON 유사 문자열)을 실제 결과와 비교하고 보고서를 생성합니다. OpenRCA에는 RCA-agent라는 기준 에이전트도 포함되어 있습니다. RCA-agent는 원시 텔레메트리를 모델에 직접 입력하는 대신(매우 긴 컨텍스트를 생성함) Python 코드를 사용하여 데이터를 자체적으로 검색하고 분석하여 모델이 추론에 집중할 수 있도록 합니다. 에이전트는 안전한 샌드박스에서 실행됩니다. 진단마다 새 Docker 컨테이너, 네트워크 없음, 읽기 전용 파일 시스템, 제한된 리소스, 단계당 60초 제한입니다. 보안 테스트가 포함되어 있으며 자체 API 키로 논문 결과를 재현할 수 있습니다.
대상 사용자
IT 운영, 사이트 안정성, 자동 디버깅을 위한 LLM 기반 시스템을 구축하거나 평가하는 연구자와 엔지니어를 위한 것입니다. 텔레메트리 데이터를 처리해야 하는 에이전트를 개발 중이거나 표준 근본 원인 분석 작업 세트에 대해 자체 모델이나 에이전트를 벤치마킹하려는 경우 특히 유용합니다. 재구성 도구를 사용하면 자체 텔레메트리에서 새 작업을 만들 수 있으므로 다양한 소프트웨어 환경에 적응할 수 있습니다.
주요 특징
- Telecom, Bank, Market의 세 가지 서로 다른 소프트웨어 시스템의 텔레메트리 데이터셋이 포함되어 있습니다.
- "prediction" 필드가 있는 모든 예측 형식을 허용하는 평가 하네스를 제공하므로 사용자 지정 에이전트에서 결과를 제출할 수 있습니다.
- 네트워크를 차단하고 파일 시스템 액세스를 제한하며 엄격한 리소스 제한을 적용하는 강화된 Docker 샌드박스를 갖춘 안전하고 재현 가능한 기준 에이전트(RCA-agent)를 제공합니다.
- 샌드박스 격리, 비밀 보호, 정리를 검증하는 보안 회귀 테스트가 포함되어 있습니다(일부 테스트는 플래그로 옵트인 필요).
- 작업 사양 JSON 파일을 통해 무작위 쿼리를 다시 생성하거나 자체 텔레메트리에서 완전히 새로운 작업을 구축할 수 있습니다.
- 시간대 정렬(모든 장애는 UTC+8) 및 샘플링 빈도 불일치와 같은 일반적인 함정을 문서화하여 거짓 음성을 방지하는 데 도움이 됩니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트