microsoft/OpenRCA

[ICLR'25] OpenRCA: Can Large Language Models Locate the Root Cause of Software Failures?

解决的问题

OpenRCA 解决了衡量大型语言模型(LLM)是否真正能够找出软件故障根因的挑战。在实际运维中,这需要查看大量遥测数据——如 KPI、依赖追踪和日志——并推理复杂的系统依赖关系。大多数基准测试并不测试这种综合技能,因此 OpenRCA 提供了一种标准方法来评估模型和代理在此任务上的表现。

工作原理

OpenRCA 提供了一个包含自然语言查询和真实根因记录的数据集。每个查询要求模型定位故障时间、故障组件和原因。遥测数据按系统(电信、银行、市场)结构化,日志、指标和追踪按日期存储。您运行一个评估脚本,将模型的预测(以 JSON 字符串形式)与真实结果进行比较,并生成报告。OpenRCA 还包含一个名为 RCA-agent 的基线代理。RCA-agent 不是将原始遥测数据直接输入模型(这会产生非常长的上下文),而是使用 Python 代码自行检索和分析数据,让模型专注于推理。代理在安全沙箱中运行——每次诊断使用全新的 Docker 容器,无网络,只读文件系统,资源有限,每步 60 秒截止。包含安全测试,您可以使用自己的 API 密钥重现论文结果。

适用对象

这适用于构建或评估基于 LLM 的 IT 运维、站点可靠性和自动调试系统的研究人员和工程师。如果您正在开发必须处理遥测数据的代理,或者希望将您的模型或代理与标准根因分析任务集进行基准测试,这将特别有用。重建工具还允许您从自己的遥测数据创建新任务,因此它可以适应不同的软件环境。

亮点

  • 包含来自三个不同软件系统的遥测数据集:电信、银行和市场。
  • 提供评估框架,接受任何带有“prediction”字段的预测格式,因此您可以提交自定义代理的结果。
  • 提供安全、可复现的基线代理(RCA-agent),带有加固的 Docker 沙箱,阻止网络、限制文件系统访问,并强制执行严格的资源限制。
  • 包含安全回归测试,验证沙箱隔离、秘密保护和清理(某些测试需要选择加入标志)。
  • 支持通过任务规范 JSON 文件重新生成随机查询或从您自己的遥测数据构建全新任务。
  • 记录了常见陷阱,如时区对齐(所有故障均在 UTC+8)和采样频率不匹配,这有助于避免假阴性。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目