IBM/AssetOpsBench

AssetOpsBench – 工业资产运维与维护的AI代理

是什么 – 一个研究级的开源框架，允许您构建、编排和评估与真实工业数据（传感器流、工单系统、故障模式目录等）交互的大语言模型（LLM）代理。它集成了：

• 领域特定的MCP服务器 – 针对物联网资产、故障模式知识库、时间序列基础模型、工单管理、振动分析的即用型工具API。
• 代理后端 – 遵循ReAct模式的即插即用编排器（Plan-Execute、Deep Agent、Claude-based、OpenAI-based），可将MCP工具作为“动作”调用。
• 基准测试套件 – 覆盖9类资产的141+个可复现场景，每个场景都有明确的多步工作流和评估管道，从推理、执行、数据处理等多个维度对代理进行评分。
• 评估基础设施 – 排行榜、基于LLM的裁判、多维度指标（推理质量、工具调用正确性、延迟等）。

---

为何重要

工业“工业4.0”现场产生海量的传感器数据并维护复杂的工单系统。将这些数据转化为自主决策（例如，检测异常、生成工单、选择预测模型）需要能够：

1. 理解工程师的自然语言请求。
2. 通过领域特定工具检索和操作结构化数据。
3. 可靠地规划和执行多步工作流。 AssetOpsBench 提供了完整的栈，使研究人员可以专注于LLM推理部分，而无需从零开始构建基础设施。

---

核心组件

组件	提供内容	典型用途
MCP（模型上下文协议）服务器	针对IoT、Failure-Mode-SR（FMSR）、Time-Series FM（TSFM）、Work-Order（WO）、振动的REST风格工具API，以及共享工具。	代理调用 list_assets、generate_workorder、run_recipe 等，与类实时工业数据交互。
代理框架	• plan_execute – 适用于任何LLM的简单计划-执行循环。 • deep_agent – 具有子代理和虚拟文件系统的分层规划。 • claude_agent / openai_agent – 将工具调用委托给Claude或OpenAI模型的ReAct风格编排器。	根据所需复杂度选择；所有组件共享一个通用的MCP客户端库。
基准测试场景	141+个精心设计的任务（例如，“列出MAIN站点Chiller 6的所有传感器”，“为异常生成工单”）。	运行 python -m assetopsbench.run --scenario "..." 或使用Hugging-Face Playground查看代理的实际表现。
评估管道	运行代理，记录工具调用，使用LLM裁判（Llama-4-Maverick-17B）在六个标准（推理、工具使用、延迟等）上评分。	生成跨模型可比较的排行榜表格。
数据与沙盒	Hugging-Face数据集、交互式Space、Colab笔记本、Kaggle基准页面。	新手无需本地安装即可轻松实验。

---

快速入门

# 克隆并安装包（可编辑模式）
git clone https://github.com/IBM/AssetOpsBench.git
cd AssetOpsBench
pip install -e .

# 在MCP服务器启动后运行简单演示场景
python -m assetopsbench.run --scenario "List all sensors of Chiller 6 in MAIN site"

如需零安装体验，请打开README中链接的Colab笔记本或HF Playground，观看LLM代理查询IoT服务器并生成响应的过程。

---

适合谁使用

受众	获益点
LLM代理、工具使用或工业AI领域的研究人员 – 具备真实数据和公开排行榜的即用型测试平台。
工业AI工程师 – 将工厂数据暴露为工具API并连接到LLM规划器的参考实现。
学生 – 实践教程（KDD 2026、AAAI 2026实验室中的MCP教程）和用于课程作业的Colab笔记本。
竞赛组织者 – 同一基准测试支持IJCAI 2026现场挑战赛和CODS 2025竞赛。

---

许可与社区

• 许可证：Apache 2.0（宽松，适合商业使用）。
  * 贡献：欢迎PR – README邀请大学添加扩展功能。
  * 支持渠道：GitHub issues、INSTRUCTIONS.md（安装指南）、以及仓库中链接的一系列教程PDF。
  * 出版物：已在KDD、ACL、ICLR、AAAI、EMNLP等十余篇论文中发表，提供深入的技术背景和评估结果。

---

TL;DR

AssetOpsBench是一个端到端的开源基准测试，让您能够为现实工业维护任务原型化和比较LLM驱动的代理。它包含领域特定工具服务器（MCP）、多种代理编排器、大量现实场景库，以及已在主要AI会议和竞赛中使用的评估框架。