Open RAG Eval – 快速概览

是什么 – 一个用于评估检索增强生成（RAG）管道的开源 Python 工具包。它捆绑了一组现成的指标（包括 TREC-RAG 基准、UMBRELA、AutoNuggetizer 和事实一致性分数），并提供与流行 RAG 框架（如 Vectara、LlamaIndex 和 LangChain）的连接器。

为何重要 – 衡量 RAG 质量具有挑战性，因为需要同时评估检索片段的相关性以及生成答案的事实正确性。open-rag-eval 让你无需手动构建“黄金”片段或答案即可完成评估；许多指标开箱即用，你也可以轻松接入自己的指标。

核心组件

• 指标 – UMBRELA 与 AutoNuggetizer（无需黄金数据）、TREC-RAG 指标、可选的黄金答案指标，以及通过开源 HHEM 模型或 Vectara 商业 API 实现的幻觉检测。
• 连接器 – 提供 Vectara、LlamaIndex、LangChain 的即用型适配器；你也可以输入预生成的答案文件。
• CLI 与库 – 使用 pip install open-rag-eval 安装。open-rag-eval 命令可运行评估、生成合成查询并绘制结果。
• 可视化 – 导出的 JSON/CSV 可在 https://openevaluation.ai 的网页查看器、本地 Streamlit 应用或简单 CLI 图表中探索。

典型工作流程

1. 创建查询列表（CSV）或让工具从你的语料库中合成查询。
2. 编写 YAML 配置文件，指向查询、选择连接器（如 Vectara），并指定要运行的评估器。
3. 运行 open-rag-eval eval --config <your-config>.yaml。
4. 检查 每个查询的得分和可视化结果，以发现薄弱环节（相关性低、幻觉率高等）。

谁应该使用它 – 需要可复现、可扩展方式来基准测试和调试其 RAG 管道的数据科学家、ML 工程师或产品团队，特别是构建基于 RAG 的聊天或搜索系统的人。

---

README 中的关键信息

• 许可证：Apache 2.0
• Python 版本：≥ 3.9
• LLM 评判者：默认使用 OpenAI（gpt-4o-mini），但可更换。
• 事实一致性后端：开源 HHEM 模型（vectara/hallucination_evaluation_model）或 Vectara API。
• 安装方式：pip install open-rag-eval（提供 CLI）或从源码安装 pip install -e .。
• 配置文件：示例配置位于 config_examples/ 目录下（如 eval_config_vectara.yaml）。
• 可视化选项：网页查看器（JSON）、CLI 绘图，或 open_rag_eval/viz/ 中的 Streamlit 应用。

---

TL;DR

open-rag-eval = 即插即用的 Python 库 + CLI，用于衡量你的 RAG 系统在检索相关片段和生成事实正确答案方面的表现，内置指标、连接器、合成查询生成和多种可视化方式。