DocAILab/XRAG

XRAG: eXamining the Core - Benchmarking Foundational Component Modules in Advanced Retrieval-Augmented Generation

📚 什麼是 XRAG？

XRAG（eXamining the Core – Benchmarking Foundational Component Modules in Advanced Retrieval‑Augmented Generation） 是一個開源 Python 框架，讓研究人員和開發人員能夠評估檢索增強生成（RAG）系統的建構模組。XRAG 不是將 RAG 管線視為黑盒子，而是將其分解為模組化元件——檢索器、嵌入、文字分割器、編排器等——並執行系統化基準測試，讓您了解每個選擇如何影響整體效能。

✨ 核心功能（如 README 中所述）

類別	亮點
評估引擎	• 多個評估維度：傳統指標（F1、EM、MRR、Hit@K、MAP、NDCG）以及基於 LLM 的指標（忠實度、相關性、正確性）。 • 深度評估指標，如上下文精確度/召回率、幻覺、偏見。 • 內建評估器：LlamaIndex、DeepEval，以及自訂指標鉤子。
模組化架構	• 用於檢索器、嵌入、LLM 的可插拔元件。 • 快速實驗的 `--override` 旗標。

🛠️ 安裝（快速回顧）

建立 Python 3.11+ 環境（建議使用 conda）。

conda create -n xrag python=3.11
conda activate xrag

從 PyPI 安裝套件（套件名稱為 examinationrag）。
```
pip install examinationrag
```

🚀 快速入門指南

編輯 config.toml – 設定您的 API 金鑰，選擇模型。

🎯 誰可能使用 XRAG？

受眾	典型使用案例
學術研究人員	在標準基準（HotpotQA、DropQA、NaturalQA）上系統比較不同檢索器、嵌入或編排器對 RAG 效能的影響。
產品工程師	驗證新的檢索元件（例如基於樹的索引）在發布前是否滿足延遲和準確性目標。
以 LLM 為中心的初創公司	自動生成內部 QA 資料集，並為 RAG 驅動的助手快速原型設計公開 `/query` API。
學生/愛好者	透過在 Web UI 中切換元件並即時觀察指標變化來學習 RAG 管線。

📖 文件與社群

論文 – 被 ICDE 2026 接收（arXiv 2412.15529）。README 連結到 PDF 以獲取更深入的方法論細節。
GitHub – 問題、拉取請求與星標計數器可見；該儲存庫鼓勵貢獻（程式碼、資料、想法）。
致謝 – 基於 LlamaIndex、Hugging Face Transformers 建構，並受到 RAGLAB、FlashRAG、FastRAG、AutoRAG 和 LocalRAG 等專案的啟發。
引用 – 提供了可直接複製的 BibTeX 條目，用於學術引用。

🛎️ 總結

XRAG 是一個用於檢索增強生成的模組化基準測試套件。它允許您混合搭配檢索器、嵌入、LLM 後端和編排器，然後使用經典 IR 指標和更新的基於 LLM 的品質分數評估結果。透過 pip install examinationrag 安裝，使用簡單的 TOML 檔案設定，並從命令列或互動式 Web UI 執行實驗。