yixuantt/MultiHop-RAG

Repository for "MultiHop-RAG: A Dataset for Evaluating Retrieval-Augmented Generation Across Documents" (COLM 2024)

What it solves

単一文書に答えが含まれない場合の RAG パイプラインの評価が難しいという課題を解決します。実世界の多くのシナリオでは「マルチホップ」推論が必要で、システムは複数の異なる文書とそのメタデータから情報を取得し、結びつけてクエリに正しく答える必要があります。

How it works

MultiHop-RAG は、2,556 件のクエリを含む専門的な QA データセットを提供します。各クエリに必要な証拠は 2〜4 件の異なる文書に分散しています。プロジェクトには、取得性能（リランク有無）と QA 正確性をテストするスクリプトが含まれており、開発者はシステムが複雑なマルチドキュメント情報取得をどれだけうまく処理できるかをベンチマークできます。

Who it’s for

マルチホップ取得と推論能力を厳密に評価したい AI 研究者や開発者、特に RAG パイプラインを構築している方を対象としています。

Highlights

  • 2,556 件の複雑クエリ（2‑4 文書から証拠が必要）を収録。
  • 実世界の RAG の複雑さをシミュレートする文書メタデータを含む。
  • 取得テスト、QA テスト、評価用の即使用可能スクリプトを提供。
  • COLM 2024 で採択された査読付き論文として公開。