yixuantt/MultiHop-RAG

Repository for "MultiHop-RAG: A Dataset for Evaluating Retrieval-Augmented Generation Across Documents" (COLM 2024)

What it solves

它解決了在答案不只存在於單一文件時，評估 RAG 流程的困難。許多真實情境需要「多跳」推理，系統必須從多個不同文件及其中繼資料中檢索並串聯資訊，才能正確回應查詢。

How it works

MultiHop-RAG 提供一套專門的 QA 資料集，內含 2,556 筆查詢。每筆查詢所需的證據分散在 2 到 4 份不同文件中。專案附帶腳本，可測試檢索效能（含重新排序與否）與 QA 正確率，讓開發者能基準測試系統在複雜、多文件資訊檢索上的表現。

Who it’s for

此工具設計給需要嚴謹評估其系統在多跳檢索與推理能力的 AI 研究者與開發者，特別是建構 RAG 流程的人員。

Highlights

  • 包含 2,556 筆需從 2‑4 份文件取得證據的複雜查詢。
  • 含有文件中繼資料，以模擬真實世界 RAG 的複雜性。
  • 提供即用型腳本，用於檢索測試、QA 測試與評估。
  • 已於 COLM 2024 以同行評審論文形式發表。