Ayanami0730/deep_research_bench

해결하는 문제

DeepResearch Bench는 딥 리서치 에이전트(DRA)를 평가할 체계적인 방법이 부족한 문제를 해결합니다. 이 벤치마크는 다양한 전문 분야에 걸친 복잡한 박사급 연구 과제를 에이전트가 얼마나 잘 처리할 수 있는지 측정하기 위한 표준화된 프레임워크를 제공합니다.

작동 방식

이 벤치마크는 22개 분야(과학, 금융, 소프트웨어 등)에 걸쳐 전문가가 직접 설계한 100개의 연구 과제를 사용합니다. 두 가지 주요 평가 방법론을 채택하고 있습니다.

1. RACE (Reference-based Adaptive Criteria-driven Evaluation): 과제별 기준(포괄성, 통찰력, 지시 이행도, 가독성)을 동적으로 생성하고 에이전트의 결과물을 고품질 참조 보고서와 비교하여 보고서 품질을 평가합니다.
2. FACT (Framework for Factual Abundance and Citation Trustworthiness): 사실적 주장과 그 인용문을 추출한 다음, 웹 스크래핑과 LLM 판단을 사용하여 인용된 출처가 실제로 해당 주장을 뒷받침하는지 검증함으로써 근거와 검색의 정확성을 평가합니다.

대상 사용자

딥 리서치 에이전트를 구축 중이며, 에이전트의 분석적 깊이, 사실적 정확성, 보고서 작성 품질을 측정하기 위해 엄격하고 전문가가 검증한 벤치마크가 필요한 AI 연구자 및 개발자.

주요 특징

• 전문가 큐레이션: 박사급 전문가와 시니어 실무자가 실제 사용자 쿼리 분포를 기반으로 설계한 과제.
• 다차원적 점수 산정: 최종 보고서의 정성적 측면과 인용의 정량적 정확성을 모두 평가합니다.
• 광범위한 도메인 커버리지: STEM, 비즈니스, 인문학을 포함한 22개의 서로 다른 분야를 포괄합니다.
• 자동화된 파이프라인: 기사 정리 및 최첨단 LLM을 심사위원으로 활용한 평가 실행 스크립트가 포함되어 있습니다.