yixuantt/MultiHop-RAG

Repository for "MultiHop-RAG: A Dataset for Evaluating Retrieval-Augmented Generation Across Documents" (COLM 2024)

What it solves

它解决了在答案不只存在于单一文档时，评估 RAG 流程的困难。许多真实场景需要“多跳”推理，系统必须从多个不同文档及其元数据中检索并串联信息，才能正确回答查询。

How it works

MultiHop-RAG 提供一套专门的 QA 数据集，包含 2,556 条查询。每条查询所需的证据分散在 2 到 4 份不同文档中。项目附带脚本，可测试检索性能（包括是否进行重排序）和 QA 准确率，让开发者能够基准测试系统在复杂、多文档信息检索上的表现。

Who it’s for

此工具面向需要严格评估其系统在多跳检索与推理能力的 AI 研究者和开发者，尤其是构建 RAG 流程的人员。

Highlights

  • 包含 2,556 条需要从 2‑4 份文档获取证据的复杂查询。
  • 包含文档元数据，以模拟真实世界 RAG 的复杂性。
  • 提供即用脚本，用于检索测试、QA 测试与评估。
  • 已作为同行评审论文在 COLM 2024 上发表。