yixuantt/MultiHop-RAG

Repository for "MultiHop-RAG: A Dataset for Evaluating Retrieval-Augmented Generation Across Documents" (COLM 2024)

What it solves

답변이 단일 문서에 포함되지 않을 때 RAG 파이프라인을 평가하기 어려운 문제를 해결합니다. 많은 실제 시나리오에서는 시스템이 여러 다른 문서와 해당 메타데이터에서 정보를 검색하고 연결하여 질의에 올바르게 답해야 하는 "멀티홉" 추론이 필요합니다.

How it works

MultiHop-RAG는 2,556개의 질의를 포함한 특화된 QA 데이터셋을 제공합니다. 각 질의에 필요한 증거는 2~4개의 서로 다른 문서에 분산되어 있습니다. 프로젝트에는 검색 성능(재정렬 여부 포함)과 QA 정확도를 테스트하는 스크립트가 포함되어 있어, 개발자가 복잡하고 다문서 정보 검색을 시스템이 얼마나 잘 처리하는지 벤치마크할 수 있습니다.

Who it’s for

멀티홉 검색 및 추론 능력을 엄격하게 평가해야 하는 AI 연구자와 개발자를 위해 설계되었습니다. 특히 RAG 파이프라인을 구축하는 사람들을 대상으로 합니다.

Highlights

  • 2‑4개의 문서에서 증거를 필요로 하는 2,556개의 복잡한 질의를 포함.
  • 실제 RAG 복잡성을 시뮬레이션하기 위한 문서 메타데이터 포함.
  • 검색 테스트, QA 테스트 및 평가를 위한 즉시 사용 가능한 스크립트 제공.
  • COLM 2024에서 피어 리뷰 논문으로 발표되었습니다.