logpai/loghub

Loghub란 무엇인가?

Loghub는 AI 기반 로그 분석 연구를 위한 시스템 로그 파일의 공개 컬렉션입니다. 로그는 실제 시스템에서 가져온 것으로, 일부는 이전 연구에서 공개된 프로덕션 데이터이고, 다른 일부는 프로젝트 자체 실험실에서 수집된 것입니다. 저자들은 가능한 한 로그를 정제, 익명화 또는 수정하지 않기로 의도적으로 결정하여 연구자들이 원시적이고 현실적인 데이터를 얻을 수 있게 합니다.

데이터셋은 연구 또는 학술 목적으로 무료로 사용할 수 있으며, 산업계와 학계의 450개 이상의 조직에서 다운로드했습니다.

내부 구성은?

README에는 6개 범주로 그룹화된 20개의 데이터셋이 나열되어 있습니다:

• 분산 시스템 — HDFS(3개 버전), Hadoop, Spark, Zookeeper, OpenStack
• 슈퍼컴퓨터 — BGL, HPC, Thunderbird
• 운영 체제 — Windows, Linux, Mac
• 모바일 시스템 — Android(2개 버전), HealthApp
• 서버 애플리케이션 — Apache, OpenSSH
• 독립 소프트웨어 — Proxifier

각 데이터셋 항목은 다음을 표시합니다:

• 설명 — 로그를 생성한 시스템(예: "Hadoop 분산 파일 시스템 로그")
• 라벨링 여부 — 로그에 실제 라벨이 있는지 여부(체크 표시로 표시, 일부는 라벨 없음)
• 시간 범위 — 로그가 다루는 기간(예: 38.7시간, 214.7일, 또는 명시되지 않은 경우 "N.A.")
• #줄 수 — 로그 줄 수(Proxifier의 약 21,000줄에서 Thunderbird의 약 2억 1,100만 줄까지)
• 원시 크기 — 파일 크기(약 2 MiB에서 약 30 GiB)
• 다운로드 — 원시 로그 파일에 대한 직접 링크

모든 다운로드는 Zenodo 레코드를 가리킵니다.

사용 방법

• 라이선스: 데이터셋은 연구 또는 학술 목적으로 무료입니다. 사용하거나 배포하는 경우 저장소 URL(https://github.com/logpai/loghub)을 참조하고 Loghub 논문을 인용해야 합니다.
• 인용: 두 개의 논문이 나열되어 있습니다—원본 Loghub 논문(ISSRE 2023)과 후속 평가 논문(ISSTA 2024)입니다.
• 토론: 질문과 토론은 저장소의 GitHub Discussions를 통해 이루어집니다.

핵심 요점

Loghub는 시스템 유형별로 구성되고 메타데이터(크기, 줄 수, 라벨링 상태)가 포함된, 바로 사용 가능하고 무료로 다운로드할 수 있는 실제 시스템 로그 세트입니다. 연구자들은 로그 파싱, 이상 탐지 또는 기타 AI 기반 로그 분석 작업에 적합한 데이터셋을 선택할 수 있습니다.