gianlucasb/hallucinator

解决的问题

该工具应对了人工智能生成的学术出版物中“垃圾内容”（slop）的增加，特别是大型语言模型（LLMs）生成的“幻觉引用”——即看似合法但实际上并不存在的虚假参考文献。它提供了一种系统化的方法，用于验证论文中的引用是否真实存在。

工作原理

1. 提取：使用 MuPDF 从 PDF 中提取文本，并识别参考文献或文献列表部分。
2. 解析：解析每条引用，提取标题和作者信息。
3. 并行验证：并行查询多个学术数据库（如 CrossRef、arXiv、DBLP、OpenAlex 和 PubMed），检查该引用是否存在。
4. 验证：将引用标记为“已验证”（标题和作者匹配）、“作者不匹配”（标题存在但作者不同）或“未找到”（可能存在幻觉）。
5. 回退机制：对于数据库中未找到的引用，可选择使用 SearxNG 网络搜索作为回退，检查标题是否在互联网上存在。

适用人群

需要验证提交论文中引用真实性的学术审稿人、研究人员和编辑。

主要亮点

• 广泛的数据库覆盖：支持 CrossRef、arXiv、DBLP、Semantic Scholar、ACL Anthology、Europe PMC、PubMed、OpenAlex 和 Open Library 等多种来源的验证。
• 混合在线/离线模式：支持下载 DBLP、arXiv、ACL Anthology 和 OpenAlex 的本地 SQLite/Tantivy 索引，以绕过 API 速率限制和机器人防护。
• 撤稿检测：利用 CrossRef 元数据自动标记已被撤稿的已验证论文。
• 多接口支持：提供基于 Rust 的 TUI、CLI 以及 Python 绑定，可轻松集成到其他工作流中。
• 高性能：实现并行查询，并具备失败请求的早期退出和重试逻辑。