logpai/loghub

Loghub とは？

Loghub は、AI 駆動のログ分析の研究を目的としたシステムログファイルの公開コレクションです。ログは実際のシステムから取得されており、一部は以前の研究で公開された本番データ、他はプロジェクトの自社ラボで収集されたものです。著者は可能な限りログのサニタイズ、匿名化、変更を意図的に避けており、研究者は生の現実的なデータを得られます。

データセットは研究や学術目的で無料で使用でき、産業界と学界の両方から 450 以上の組織 によってダウンロードされています。

中身は？

README には 20 のデータセットが 6 つのカテゴリにグループ化されてリストされています：

• 分散システム — HDFS（3 バージョン）、Hadoop、Spark、Zookeeper、OpenStack
• スーパーコンピュータ — BGL、HPC、Thunderbird
• オペレーティングシステム — Windows、Linux、Mac
• モバイルシステム — Android（2 バージョン）、HealthApp
• サーバーアプリケーション — Apache、OpenSSH
• スタンドアロンソフトウェア — Proxifier

各データセットエントリには以下が表示されます：

• 説明 — ログを生成したシステム（例：「Hadoop 分散ファイルシステムログ」）
• ラベル付き？ — ログにグラウンドトゥルースラベルが付いているかどうか（チェックマークで示され、一部はラベルなし）
• 期間 — ログがカバーする時間（例：38.7 時間、214.7 日、または記載がない場合は「N.A.」）
• #行数 — ログ行数（Proxifier の約 21,000 行から Thunderbird の約 2 億 1100 万行まで）
• 生サイズ — ファイルサイズ（約 2 MiB から約 30 GiB）
• ダウンロード — 生ログファイルへの直接リンク

すべてのダウンロードは Zenodo レコードを指しています。

使用方法

• ライセンス：データセットは研究または学術目的で無料です。使用または配布する場合は、リポジトリ URL（https://github.com/logpai/loghub）を参照し、Loghub 論文を引用する必要があります。
• 引用：2 つの論文がリストされています—元の Loghub 論文（ISSRE 2023）とフォローアップ評価論文（ISSTA 2024）です。
• 議論：質問や議論はリポジトリの GitHub Discussions で行われます。

重要なポイント

Loghub は、システムタイプ別に整理され、メタデータ（サイズ、行数、ラベル付け状態）が付属した、すぐに使える無料ダウンロード可能な実システムログのセットです。研究者は、ログ解析、異常検出、その他の AI 駆動のログ分析作業に適したデータセットを選択できます。