logpai/loghub

什么是 Loghub？

Loghub 是一个公开的系统日志文件集合，用于 AI 驱动的日志分析研究。日志来自真实系统——有些是早期研究中发布的生产数据，有些是在项目自己的实验室中收集的。作者尽可能避免对日志进行清洗、匿名化或修改，以便研究人员获得原始、真实的数据。

这些数据集可免费用于研究或学术工作，已被来自工业界和学术界的超过 450 个组织 下载。

里面有什么？

README 列出了 20 个数据集，分为六个类别：

• 分布式系统 — HDFS（3 个版本）、Hadoop、Spark、Zookeeper、OpenStack
• 超级计算机 — BGL、HPC、Thunderbird
• 操作系统 — Windows、Linux、Mac
• 移动系统 — Android（2 个版本）、HealthApp
• 服务器应用 — Apache、OpenSSH
• 独立软件 — Proxifier

每个数据集条目显示：

• 描述 — 产生日志的系统（例如，“Hadoop 分布式文件系统日志”)
• 已标注？ — 日志是否带有真实标签（用对勾标记；有些未标注）
• 时间跨度 — 日志覆盖的时间长度（例如，38.7 小时、214.7 天，或“N.A.”如果未说明）
• #行数 — 日志行数（从 Proxifier 的约 21,000 行到 Thunderbird 的约 2.11 亿行）
• 原始大小 — 文件大小（从约 2 MiB 到约 30 GiB）
• 下载 — 原始日志文件的直接链接

所有下载都指向 Zenodo 记录。

如何使用

• 许可证：数据集可免费用于研究或学术工作。如果您使用或分发它们，必须引用仓库 URL（https://github.com/logpai/loghub）并引用 Loghub 论文。
• 引用：列出了两篇论文——原始 Loghub 论文（ISSRE 2023）和后续评估论文（ISSTA 2024）。
• 讨论：问题和讨论通过仓库的 GitHub Discussions 进行。

关键要点

Loghub 是一个现成的、可免费下载的真实系统日志集合，按系统类型组织，并带有元数据（大小、行数、标注状态），以便研究人员为日志解析、异常检测或其他 AI 驱动的日志分析工作选择合适的数据集。