DABStep: 데이터 에이전트 벤치마크: 다단계 추론

Hugging Face와 Adyen은 데이터 에이전트 벤치마크: 다단계 추론 (DABStep)를 개발했는데, 이는 450개 이상의 데이터 분석 작업으로 구성된 특수 평가 프레임워크입니다. 이 벤치마크는 현재 AI 에이전트에서 상당한 성능 격차를 보여주며, 가장 뛰어난 추론 기반 모델이 하드 작업 세트에서 16%의 정확도만을 달성한다는 것을 나타냅니다.

DABStep 벤치마크 설계

DABStep은 LLMs이 도구를 사용하여 독립적으로 다단계 작업을 실행하는 에이전트 워크플로우를 평가하도록 설계되었으며, 구체적으로 실제 세계 데이터 분석의 맥락에서 그렇습니다. 합성 벤치마크와 달리, DABStep은 실제 Adyen workload에서 추출된 작업을 사용하여 전문 데이터 분석가가 직면하는 과제를 시뮬레이션합니다.

주요 특징

• 실제 세계 사용 사례: 벤치마크는 실제 workload를 기반으로 한 450개 이상의 작업을 활용하여 '장난감 문제'를 피함으로써 일상적인 분석적 과제를 더 잘 반영합니다.
• 구조화 및 비구조화 데이터: 작업은 구조화된 데이터셋(CSV, JSON)과 비구조화된 도메인 지식(마크다운 매뉴얼, 핸드북)을 모두 탐색하도록 모델에 요구합니다.
• 팩트 평가: 객관적이고 모델에 무관한 채점을 보장하기 위해, 벤치마크는 간단한 단어, 숫자, 또는 다중 선택 답변에 기반한 바이너리(정답/오답) 결과를 사용합니다.
• 다단계 복잡성: 작업은 단 한 번의 코드 실행으로 해결될 수 있도록 설계되지 않았으며, 반복적인 문제 해결과 순차적 추론이 필요합니다.

데이터 구성

벤치마크에는 다음과 같은 다양한 금융 결제 부문 데이터셋이 포함됩니다:

• payments.csv: 사기 및 위험 신호가 포함된 익명화된 거래.
• fees.json: 1,000개의 Scheme Fee 구조로 구성된 데이터셋.
• manual.md: 작업을 해결하기 위한 필수 비즈니스 지식을 요약한 핸드북.
• 기타 메타데이터: 획득자 국가 및 상인 카테고리 코드(MCCs)를 위한 테이블.

작업 난이도 및 일반화

DABStep은 에이전트 능력의 세부적인 시각을 제공하기 위해 작업을 두 가지 난이도 수준으로 분류합니다:

• 쉬움 수준: 이들은 단일 구조화된 데이터셋과 최소한의 컨텍스트가 필요한 워밍업 역할을 합니다. Llama 70B zero-shot 프롬프트는 이러한 작업에서 90% 이상의 정확도를 초과할 수 있습니다.
• 어려움 수준: 이들은 여러 구조화된 데이터셋과 도메인별 지식이 필요합니다. 이러한 작업은 다단계 귀납적 추론과 반복적인 코드 생성을 필요로 합니다.

"행운의 추측"을 방지하고 핵심 추론의 반복 가능성을 보장하기 위해, 벤치마크는 시간 범위와 상인 이름의 순열을 통해 작업 카디널리티를 폭발시켜 상징적 추론을 고용합니다. 또한 초기 버전에 캡처되지 않은 분석 작업 전반에 걸쳐 에이전트가 얼마나 잘 일반화되는지 평가하기 위해 heldout 테스트 세트를 활용합니다.

성능 기준 및 모델 분석

하드 세트에 대한 초기 평가에서는 가장 고급 추론 모델조차도 복잡한 데이터 분석에서 어려움을 겪는 것으로 나타났습니다.

정확도 결과

• o3-mini: 16% 정확도 (최고 성능).
• DeepSeek R1: 13% 정확도.
• Claude 3.5 Sonnet: 12% 정확도.
• DeepSeek V3: 6% 정확도.

기술적 관찰

연구자들은 o1과 R1과 같은 추론 모델이 채팅 모델에 잘 작동하는 표준 ReAct 프롬프트를 사용할 때 성능이 낮았습니다(0% 정확도). 이 모델들은 효과적으로 작동하기 위해 전문적인 "Reasoning Prompt"가 필요했습니다. 일반적인 실패 모드에는 잘못된 코드 구문, 지침 준수 부족, 그리고 순차적 단계 실행 실패가 포함되었습니다.

비용-성능 트레이드오프

상업적 제공물의 분석에서 이러한 에이전트에 대한 경제성이 다양함을 보여줍니다:

• o1은 전체 벤치마크에 대해 $435로 가장 비쌌습니다($0.967 per task).
• DeepSeek R1와 GPT-4o-mini는 전체 벤치마크에 대해 $3로 가장 비용 효율적이었습니다($0.007 per task).
• 연구자들은 DeepSeek R1이 낮은 비용 대비 높은 성능을 제공하는 이상적인 경제 프로파일을 제공한다고 지적했습니다.

DABStep의 미래 로드맵

Hugging Face와 Adyen은 AI 모델이 향상됨에 따라 벤치마크의 유효성을 유지하기 위해 벤치마크를 발전시킬 계획입니다. 미래 확장에는 다음이 포함됩니다:

• 확장된 작업 범위: 사기 및 수수료를 넘어 승인율, 인증 감소, 계절적 구성 요소로 확장.
• 교차 도메인 적용: 건강, 생물학, 보험, 통신 분야의 데이터셋을 포함시킵니다.
• 데이터 규모 증가: 메모리 한계를 초과하는 데이터셋을 도입하여 분산 컴퓨팅 엔진 사용이 필요하게 됩니다.
• 복잡한 문서화: 컨텍스트 창 한계를 테스트하기 위해 PDF 형식과 버전된 로직을 추가합니다.
• 멀티모달 기능: 플롯과 그래프를 해석하고 생성하는 작업을 요구하는 작업을 추가합니다.