EdinburghNLP/awesome-hallucination-detection

解决的问题

本项目旨在解决大型语言模型 (LLMs) 和多模态大型语言模型 (MLLMs) 容易产生“幻觉”的问题，即生成事实错误、与给定上下文矛盾或缺乏视觉数据支持的信息。它作为一个集中式资源库，汇集了旨在检测、衡量和缓解这些错误的研究论文、数据集和方法。

工作原理

该资源库将最前沿的研究整理为多种管理幻觉的方法，包括：

• 检测： 分析模型内部信号（如注意力图、熵或隐藏状态）以标记潜在幻觉的方法，无需外部标签。
• 缓解： 例如“引导”模型激活、抑制导致不忠实响应的特定层，或使用强化学习来优先考虑事实准确性的技术。
• 评估： 旨在测试模型处理事实声明、科学批判和多模态数据能力的基准和指标，同时指出了 ROUGE 等旧评估方法的局限性。

适用人群

本资源适用于致力于构建更可靠、具备事实感知能力的 LLM 应用的 AI 研究人员、开发人员和工程师。对于那些希望实施 RAG (Retrieval-Augmented Generation) 系统或提高生产环境中模型事实一致性的人员尤其有用。

亮点

• 精选研究： 收集了 145 多篇涵盖幻觉检测与缓解的学术论文。
• 多样化方法： 包括无需训练的推理技术、基于 RL 的微调以及注意力图的拓扑分析。
• 多模态支持： 特色研究专注于通过引导视觉信息来减少视觉语言模型中的幻觉。
• 基准测试访问： 提供用于测试模型事实性和批判技能的数据集和排行榜链接。
• 实用工具： 重点介绍了可集成到现有工作流中的开源代码和库。