Novelty-Bench：评估 LLM 在科学研究评估中的可靠性

评估 AI 新颖性判断的可靠性

自动化科学发现依赖于 AI 系统区分真正新颖的研究想法与仅仅是重新包装现有工作的想法的能力。一项名为 Old Ideas, Novel Problems 的新研究表明，当前的大语言模型 (LLM) 新颖性评估器是不可靠的，其性能会根据提示词、评估设置以及所评估想法的性质的微小变化而剧烈波动。

Novelty-Bench 基准测试

为了衡量新颖性评估器的有效性，艾伦人工智能研究所 (Ai2) 的研究人员利用 ICLR 2026 的同行评审开发了一个基准测试。该团队没有依赖论文的录用状态，而是挖掘了明确讨论贡献原创性的审稿人评论。

创建了两种评估设置：

• 仅限人类 (Human-Only)： 154 个高新颖性想法（录用论文的前 10%）与 145 个较低新颖性的想法（被拒论文的后 10%）配对。
• 人类+生成 (Human+Generated)： 154 个高新颖性的人类想法与 154 个由基础 LLM 生成的想法配对，为比较人类研究与 AI 生成的输出提供了基准。

对提示词和模型不稳定性的敏感性

测试六个 LLM 评估器（包括来自 GPT-5 和 Claude 4.5/4.6 系列的模型）表明，新颖性评估非常脆弱。

• 提示词敏感性： 在一项实验中，提示词措辞的简单改变导致模型识别出更具新颖性想法的准确率从 93.5% 降至 40.9%。
• 不一致性： 在 Human-Only 数据集上导致微小变化的相同提示词更改，在 Human+Generated 数据集上导致了巨大的性能波动，这表明评估器在评估 AI 生成的内容时特别不稳定。
• 缺乏可迁移性： 为一个模型提高准确率的提示词往往会降低其他模型的性能，这表明对于提示词新颖性评估器而言，不存在通用的“最佳实践”。

专用系统与简单系统的性能对比

更复杂、专门构建的系统并不一定比简单的提示词基准产生更好的结果。该研究将标准检索评估器与具有高推理预算和实时迭代搜索的代理系统进行了比较。

• 效率： 一个简单的 Claude Opus 4.6 提示词实现了 0.854 的宏观 F1 分数，每次决策成本为 $2.59。
• 成本-性能差距： 像 "Idea Novelty Checker" 和 "AI Scientist" 评估器这样的专用系统得分较低（分别为 0.642 和 0.772），而成本却高得多（每次决策分别为 $30.66 和 $82.05）。

对自动化发现的影响

这些发现表明，目前验证 AI 生成研究新颖性的方法是不够的。由于新颖性评估器在 AI 生成的想法上与在人类撰写的想法上的表现不同，仅在人类论文上验证这些系统不足以作为现实世界性能的代理指标。研究人员已经发布了基准测试、数据和代码，以帮助社区开发更稳健、更可靠的 AI 驱动科学发现评估方法。