vectara/hallucination-leaderboard

解决的问题

本项目提供了一种标准化、自动化的方法，用于衡量大语言模型 (LLMs) 在进行文本摘要时产生幻觉的频率。通过量化事实一致性，它帮助开发者和研究人员了解不同模型在检索增强生成 (RAG) 和代理工作流等任务中的可靠性。

工作原理

该排行榜使用 Vectara 的专有幻觉评估模型 (HHEM) 对 LLM 的摘要进行评分。评估过程包括将超过 7,700 篇文章的精选数据集输入到各种 LLM 中，并要求它们仅使用提供的源文本生成简洁、真实的事实摘要。系统随后根据摘要与源文本的一致性计算幻觉率，并过滤掉拒绝回答或提供不足响应的模型。

适用对象

本项目专为 AI 研究人员、开发者和工程师设计，他们需要在将 LLM 部署到生产环境之前评估其事实可靠性，特别是在 RAG 或摘要密集型应用中。

亮点

• 自动化、可重复的评估流程，可随新模型的发布进行扩展。
• 专门关注摘要中的事实一致性，而非通用知识。
• 使用大型私有数据集，防止模型对基准测试产生过拟合。
• 提供清晰的指标，包括幻觉率 (Hallucination Rate)、事实一致性率 (Factual Consistency Rate) 和回答率 (Answer Rate)。