IBM/AssetOpsBench

AssetOpsBench – 산업 자산 운영 및 유지보수를 위한 AI 에이전트

무엇인가요 – 실제 산업 데이터(센서 스트림, 작업 지시 시스템, 고장 모드 카탈로그 등)와 함께 작동하는 대규모 언어 모델(LLM) 에이전트를 구축하고 오케스트레이션하며 평가할 수 있는 연구용 오픈소스 프레임워크입니다. 다음과 같은 요소들을 통합하고 있습니다:

• 도메인 특화 MCP 서버 – IoT 자산, 고장 모드 지식 기반, 시계열 기초 모델, 작업 지시 관리, 진동 분석을 위한 미리 준비된 도구 API.
• 에이전트 백엔드 – ReAct 패턴을 따르며 MCP 도구를 "작업"으로 호출할 수 있는 플러그 앤 플레이 오케스트레이터(Plan-Execute, Deep Agent, Claude 기반, OpenAI 기반).
• 벤치마크 스위트 – 9개의 자산 클래스를 커버하는 141개 이상의 재현 가능한 시나리오. 각 시나리오는 정의된 다단계 워크플로우와 추론, 실행, 데이터 처리 차원에서 에이전트를 평가하는 평가 파이프라인을 포함합니다.
• 평가 인프라 – 리더보드, LLM 기반 평가자, 다차원 메트릭(추론 품질, 도구 호출 정확성, 지연 시간 등).

---

왜 중요한가

산업용 "인더스트리 4.0" 현장은 막대한 양의 센서 데이터를 생성하고 복잡한 작업 지시 시스템을 유지합니다. 이러한 데이터를 자율적인 의사결정(예: 이상 탐지, 작업 지시 생성, 예측 모델 선택)으로 전환하기 위해서는 다음 능력을 갖춘 에이전트가 필요합니다:

1. 엔지니어의 자연어 요청을 이해합니다.
2. 도메인 특화 도구를 통해 구조화된 데이터를 검색하고 조작합니다.
3. 신뢰성 있게 다단계 워크플로우를 계획하고 실행합니다. AssetOpsBench는 연구자가 인프라 구축에서 벗어나 LLM 추론 부분에 집중할 수 있도록 전체 스택을 제공합니다.

---

핵심 구성 요소

구성 요소	제공하는 기능	일반적인 사용 사례
MCP(Model Context Protocol) 서버	IoT, Failure-Mode-SR(FMSR), Time-Series FM(TSFM), Work-Order(WO), 진동용 REST 스타일 도구 API 및 공유 유틸리티.	에이전트는 list_assets, generate_workorder, run_recipe 등을 호출하여 실시간과 유사한 산업 데이터와 상호작용합니다.
에이전트 프레임워크	• plan_execute – 어떤 LLM에도 사용 가능한 간단한 계획-실행 루프. • deep_agent – 하위 에이전트와 가상 파일 시스템을 갖춘 계층적 계획. • claude_agent / openai_agent – Claude 또는 OpenAI 모델에 도구 호출을 위임하는 ReAct 스타일 오케스트레이터.	필요에 따라 복잡성 수준을 선택 가능. 모두 공통의 MCP 클라이언트 라이브러리를 공유합니다.
벤치마크 시나리오	141개 이상의 정교하게 구성된 작업(예: "MAIN 사이트의 Chiller 6의 모든 센서 목록", "이상에 대한 작업 지시 생성").	python -m assetopsbench.run --scenario "..."를 실행하거나 Hugging-Face 플레이그라운드를 사용해 에이전트의 동작을 확인할 수 있습니다.
평가 파이프라인	에이전트를 실행하고 도구 호출을 기록하며, LLM 평가자(Llama-4-Maverick-17B)를 사용해 6가지 기준(추론, 도구 사용, 지연 시간 등)으로 점수를 매깁니다.	모델 간 비교 가능한 리더보드 테이블을 생성합니다.
데이터 및 플레이그라운드	Hugging-Face 데이터셋, 인터랙티브 스페이스, Colab 노트북, Kaggle 벤치마크 페이지.	초보자도 로컬 설치 없이 쉽게 실험할 수 있습니다.

---

시작하기 (빠른 방법)

# 패키지 클론 및 설치 (편집 가능 모드)
git clone https://github.com/IBM/AssetOpsBench.git
cd AssetOpsBench
pip install -e .

# MCP 서버가 실행된 후 간단한 데모 시나리오 실행
python -m assetopsbench.run --scenario "List all sensors of Chiller 6 in MAIN site"

제로 설치 경험을 원하신다면, README에 링크된 Colab 노트북 또는 HF 플레이그라운드를 열어 LLM 에이전트가 IoT 서버에 질의하고 응답을 생성하는 모습을 관찰할 수 있습니다.

---

누구에게 적합한가

대상	얻는 이점
LLM 에이전트, 도구 사용, 산업 AI 분야 연구자 – 현실적인 데이터와 공개 리더보드를 갖춘 즉시 사용 가능한 테스트베드.
산업 AI 엔지니어 – 공장 데이터를 도구 API로 노출하고 LLM 플래너에 연결하는 참조 구현.
학생 – 실습 중심 튜토리얼(KDD 2026, AAAI 2026 랩), 에이전트 AI 과제용 Colab 노트북.
경진대회 주최자 – 동일한 벤치마크가 IJCAI 2026 라이브 챌린지와 CODS 2025 경진대회를 지원합니다.

---

라이선스 및 커뮤니티

• 라이선스: Apache 2.0 (허용성 높고 상업적 이용에 적합).
  * 기여: PR 환영. README는 대학들이 확장 기능을 추가할 것을 초대합니다.
  * 지원 채널: GitHub 이슈, 설치용 INSTRUCTIONS.md, 리포지토리에 링크된 튜토리얼 PDF 모음.
  * 논문: KDD, ACL, ICLR, AAAI, EMNLP 등에서 10편 이상의 논문이 기술적 배경과 평가 결과를 심층적으로 제공하고 있습니다.

---

TL;DR

AssetOpsBench는 실제 산업 유지보수 작업에 대한 LLM 기반 에이전트의 프로토타이핑과 비교를 가능하게 하는 엔드투엔드 오픈소스 벤치마크입니다. 도메인 특화 도구 서버(MCP), 여러 에이전트 오케스트레이터, 대량의 현실적인 시나리오, 그리고 이미 주요 AI 컨퍼런스와 경진대회에서 사용된 평가 프레임워크를 포함하고 있습니다.