IBM과 UC Berkeley, IT-Bench와 MAST를 활용해 엔터프라이즈 에이전트 실패 진단

IBM Research와 UC Berkeley는 IT-Bench(SRE, 보안 및 FinOps 자동화를 위한 벤치마크)와 **MAST (멀티에이전트 시스템 실패 분류법)**를 결합하여 에이전트형 LLM 평가에서 단순 성공률을 넘어서는 방법을 개발했습니다. 이 접근법을 통해 개발자는 특정 실패 서명을 식별하고, 작업 붕괴를 초래하는 치명적인 오류와 무해한 구조적 마찰을 구분할 수 있습니다.

에이전트 벤치마크의 “블랙 박스” 문제

전통적인 벤치마크는 일반적으로 단일 성공률만을 보고하며, 에이전트가 왜 실패했는지를 설명하지 못합니다. 이를 해결하기 위해 연구진은 MAST를 도입했으며, 이는 비구조화된 실행 로그를 14개의 구별된 패턴으로 구성된 구조화된 “실패 벡터”로 변환하는 표준화된 분류법입니다. 이러한 패턴은 세 가지 카테고리로 그룹화됩니다:

  • FC1: System Design Issues (The Skeleton): 아키텍처 실패 예시로 FM-1.3 Step Repetition(루프), FM-1.4 Loss of Conversation History(메모리 누수), FM-1.5 Unaware of Termination 등이 있습니다.
  • FC2: Inter-Agent Misalignment (The Communication): 런타임 통신 실패로, FM-2.2 Fail to Ask for Clarification와 FM-2.3 Task Derailment가 포함됩니다.
  • FC3: Task Verification (The Quality Control): 출력 품질 실패로, FM-3.1 Premature Termination와 FM-3.3 Incorrect Verification(성공을 환상하는) 등이 있습니다.

진단 실험: IT-Bench SRE 트레이스

연구자들은 세 가지 모델 클래스에 걸쳐 310개의 SRE 실행 트레이스를 주석 달아 각기 다른 실패 서명을 분석했습니다. 모델들은 평균 재현율(mean recall)에 따라 크게 다른 성능을 보였습니다:

  • Gemini-3-Flash: 평균 재현율 75.5%
  • Kimi-K2: 평균 재현율 28.6%
  • GPT-OSS-120B: 평균 재현율 12.4%

실패 밀도와 복잡성

연구는 모델 강도와 실패의 “수술적” 특성 사이에 직접적인 상관관계가 있음을 발견했습니다. 강력한 모델은 트레이스당 더 적고, 보다 고립된 실패 모드를 보여 디버깅이 용이합니다:

  • Gemini-3-Flash: 실패한 트레이스당 2.6개의 실패 모드(수술적 실패).
  • Kimi-K2: 실패한 트레이스당 4.7개의 실패 모드.
  • GPT-OSS-120B: 실패한 트레이스당 5.3개의 실패 모드(연쇄적 붕괴).

Gemini-3-Flash는 일반적으로 단일 고립된 병목 현상으로 실패하는 반면, GPT-OSS-120B는 초기 추론 불일치가 컨텍스트를 오염시켜 전체적인 탈선으로 이어지는 복합 오류를 겪습니다.

치명적 vs. 비치명적 실패 구분

MAST는 시스템이 복구할 수 있는지 여부에 따라 실패를 두 가지 범주로 분류할 수 있게 합니다:

복구 가능 / 구조적 실패

이러한 결함은 성공적인 실행에서도 자주 나타나며 종종 작업에 필요합니다. 예를 들어, FM-1.3 Step Repetition은 성공적인 Kimi-K2 실행의 90% 이상에서 발견되었는데, 이는 SRE 작업이 안정성을 검증하기 위해 동일한 메트릭을 여러 번 조회해야 하는 경우가 많기 때문입니다.

치명적 / 결정적 실패

이러한 오류는 실패와 강하게 상관관계가 있으며 일반적으로 복구가 불가능합니다:

  • FM-3.3 Incorrect Verification: 모든 모델에서 가장 강력한 실패 예측 지표입니다. Gemini-3-Flash는 성공한 트레이스에 비해 실패한 트레이스에서 이 모드가 52% 증가했습니다.
  • FM-1.5 Unaware of Termination Conditions와 FM-2.6 Reasoning Action Mismatch도 주요 실패 요인입니다.

모델별 사례 연구 및 개입

Gemini-3-Flash: 과신

Gemini-3-Flash는 효율적이지만 엄격한 증명 없이 성공을 가정하는 경향이 있습니다. 그 실패 서명은 검증 오류가 지배적입니다.

Recommended Fix: 외부 검증 게이트를 구현합니다. 에이전트가 종료하도록 허용하기 전에 하드 툴 기반 증거(예: 정상적인 메트릭 임계값)를 요구하여, LLM이 스스로 과제를 평가하도록 하지 않습니다.

Kimi-K2: 종료 위기

Kimi-K2는 작업이 언제 완료되는지를 인식하는 데 어려움을 겪습니다. **Premature Termination (+46%)**와 **Unaware of Termination Conditions (+43%)**가 크게 증가합니다. 또한 **FM-2.6 (Action-Reasoning Mismatch)**가 92%의 실패에서 나타나며, 모델은 올바른 단계를 식별하지만 관련 없는 명령을 실행합니다.

Recommended Fix: 모델 외부에서 종료와 루프 제어를 강제하기 위해 결정론적 상태 머신을 사용합니다.

GPT-OSS-120B: 시스템 불안정성

이 모델은 내부 상태를 유지하는 근본적인 능력이 부족합니다. 트레이스의 24%에서 대화 기록(FM-1.4)을 잃어버리며, Gemini-3-Flash는 0%에 불과합니다. 이로 인해 원래 처리하던 알림을 “잊어버립니다”.

Recommended Fix: 공격적인 컨텍스트 정리와 조기 오류 감지를 구현하여 작은 추론 불일치가 전체 탈선으로 이어지는 것을 방지합니다.

엔터프라이즈 에이전트를 위한 엔지니어링 로드맵

MAST 분석을 기반으로 연구진은 에이전트 신뢰성을 향상시키기 위한 세 가지 주요 아키텍처 개입을 제안합니다:

  1. Externalize Verification: 종료 전에 하드 증거를 요구하여 최첨단 모델의 과신을 완화합니다.
  2. Externalize Loop Control: 유한 상태 머신을 사용해 모델 외부로 종료 및 루프 감지를 이동시켜 무한 루프나 조기 종료를 방지합니다.
  3. Force Clarification: 입력이 모호할 때 작은 모델이 잘못된 경로를 가정하지 않도록 에이전트 그래프에서 모호성을 일급 분기로 만듭니다.

Sources