gianlucasb/hallucinator

解決的問題

此工具應對了人工智慧生成的學術出版物中「垃圾內容」（slop）的增加，特別是大型語言模型（LLMs）產生的「幻覺引用」——即看似合法但實際上不存在的虛假參考文獻。它提供了一種系統化的方法，用於驗證論文中的引用是否真實存在。

工作原理

1. 提取：使用 MuPDF 從 PDF 中提取文字，並識別參考文獻或文獻列表部分。
2. 解析：解析每條引用，提取標題和作者資訊。
3. 並行驗證：並行查詢多個學術資料庫（如 CrossRef、arXiv、DBLP、OpenAlex 和 PubMed），檢查該引用是否存在。
4. 驗證：將引用標記為「已驗證」（標題和作者匹配）、「作者不符」（標題存在但作者不同）或「未找到」（可能存在幻覺）。
5. 回退機制：對於資料庫中未找到的引用，可選擇使用 SearxNG 網路搜尋作為回退，檢查標題是否在互聯網上存在。

適用對象

需要驗證提交論文中引用真實性的學術審稿人、研究人員和編輯。

主要亮點

• 廣泛的資料庫覆蓋：支援 CrossRef、arXiv、DBLP、Semantic Scholar、ACL Anthology、Europe PMC、PubMed、OpenAlex 和 Open Library 等多種來源的驗證。
• 混合線上/離線模式：支援下載 DBLP、arXiv、ACL Anthology 和 OpenAlex 的本地 SQLite/Tantivy 索引，以繞過 API 速率限制和機器人防護。
• 撤稿檢測：利用 CrossRef 元資料自動標記已被撤稿的已驗證論文。
• 多接口支援：提供基於 Rust 的 TUI、CLI 以及 Python 綁定，可輕鬆整合到其他工作流程中。
• 高效能：實現並行查詢，並具備失敗請求的早期退出和重試邏輯。