科学的异域空间:采样连贯但认知上不可及的研究方向(NeurIPS 2026)

一篇NeurIPS 2026论文提出采样那些科学上有效但现有社区无法提出的研究方向

一篇新论文《科学的异域空间:采样连贯但认知上不可及的研究方向》(arXiv:2603.01092)被NeurIPS 2026主会议接收,该论文区分了在AI生成研究想法中通常被混为一谈的两件事:一个想法在科学上是否合理,以及任何现有研究者社区是否可能想到它。作者训练了一个模型来评分连贯性,另一个模型来评分认知不可及性,然后对候选想法进行排序,以最大化前者同时最小化后者。

论文的核心主张是,科学发现不仅受限于什么是真实的,还受限于研究者认知上可及的内容。许多方向在文献背景下是连贯的,但不太可能被提出,因为没有现有社区结合了相关的概念、方法和直觉。语言模型继承了这种偏见:论文指出,现代语言模型在被提示产生新颖想法时,会重新组合文献中的高密度区域。

这项工作被发布到Hacker News,获得了177分和66条评论,讨论串中包含一位合著者提供的详细通俗解释。

方法:想法原子、连贯性模型和认知可及性模型

该流程将论文分解为概念单元,并将它们聚类成作者所称的“想法原子”词汇表。每篇论文和每个候选想法都被表示为一组原子。一个连贯性模型评分一组原子的组合是否构成一个可行的研究方向,而一个可及性模型评分任何现有作者社区是否有能力产生该方向。然后对候选组合进行排序,以最大化连贯性同时最小化可及性。

在Hacker News讨论串的一条评论中,合著者martincsweiss用具体术语描述了四个步骤:

  1. 将16,068篇LLM论文(NeurIPS、ICLR、ICML、ACL、EMNLP,2017至2025年)分解为273个“想法原子”。每篇论文和每个候选想法都变成一组原子。2. 训练一个连贯性模型:一个42.8M参数的Transformer,在作为原子序列的论文上训练。基本上是一个标记为想法的语言模型。3. 训练一个认知可及性模型:一个双编码器,在39,791名研究者的发表历史上训练,预测每个人接下来可能去往哪里。4. 使用这些模型通过倒数排名融合对采样的元组进行评分(你想要那些能很好组合在一起,但对任何人都认知上不可及的想法)。

可及性模型是独特的组成部分。大多数AI构思系统针对模型自身输出分布优化新颖性,而该系统针对与现有研究者分布的距离进行优化,使用发表历史作为谁有能力做出特定贡献的代理。

结果显示了什么:更多样化的组合和保持的每个想法质量

在来自NeurIPS、ICLR、ICML和主要NLP会议的16,068篇同行评审LLM论文上,该采样器产生了比前沿LLM基线更多样化的研究组合,包括可以看到其全部输出的批量提示变体。在盲人、LLM和下游实验评估下,每个想法的质量达到或超过了这些基线。

时间验证使用了严格的截止点:所有组件仅使用2025年前的数据,然后系统对照2025年论文中实际出现的组合进行检查。选择不到1%的候选空间,以35.9倍于偶然的水平恢复了2025年的组合。加权不可及性将严格新颖组合的恢复提高到3.24倍于偶然。

合著者给出了该验证中的一个说明性案例:

一个例子是ICLR 2025的口头报告,仅凭连贯性从排名1,489上升到114万样本中的前25名。

可解释性结果:前沿LLM聚集在同一主题上,而异域采样没有

讨论串中最值得引用的发现涉及主题崩溃。合著者报告说,提示Claude提出ML研究想法经常产生可解释性想法,而使用A100在这样的想法上运行自动化研究流程往往会再次落在可解释性上:

一个有趣的例子:如果你让Claude提出一个ML研究想法,它通常关于可解释性。如果你然后用一些A100在该想法上运行自动研究流程,结果往往是可解释性,十次中有八次。我们的异域采样方法即使在让Claude深入研究后也保持了零可解释性想法。

关于所产生提案的质量,合著者报告了一项人类评估,其中50名拥有CS或AI研究生学位的人评判了研究报告。异域的报告具有最佳的平均质量排名,并产生了前5名报告中的3份。

一个包含25,000个生成研究提案的可搜索语料库

作者将该方法扩展到论文评估集之外。合著者表示,该系统被扩展到大约几百万篇论文和数千万个概念元素,产生了25,000个新的研究提案,可以在一个名为Lacuna的网站上搜索。论文的代码在github.com/alejandrohdez00/alien-space-of-science以MIT许可证发布。

讨论串中的反驳点

讨论中最强烈的怀疑涉及机器学习之外领域的提案质量。一位评论者过滤了针对生物学的生成提案,认为输出不可用,且写作的自信语气具有误导性:

我过滤了针对生物学的生成提案[0],因为那是我有点熟悉的领域。我认为那是一堆废话,尽管自信的语言真的让我怀疑自己。

第二位评论者,一位从事药理学和分子生物学工作的工程师,检查了一个关于受体结合的提案,并挑战了其科学前提而非语气。该提案据称认为,一个结合紧密且停留时间更长的配体应该产生更强的细胞内信号。这位评论者写道,这种框架忽略了构象的作用:

所以不一定停留时间和整体结合亲和力调节转录效应。一个很好的例子是雄激素Trestolone/MENT,它比睾酮效力高一个数量级,但显示出与雄激素受体相似的相对结合亲和力。

这两条评论标志着该方法的边界条件:一个在文献上训练的连贯性模型可以生成看起来合理的跨领域组合,但对语言模型的合理性并不等同于在训练语料库未能很好捕捉其直觉的领域中的正确性。

读者提出的实际问题

其他评论提出了论文未直接回答的问题。一位读者问该方法是否可以微调以在个人图书馆的1,000到2,000篇学术PDF上运行,作为一个“有点疯狂的创意教练”。另一位要求一旦方法论稳定后构建该项目的成本分解。两者在讨论串中都没有得到有记录的答案。

第三条评论线建议该框架不仅适用于机器。一位读者指出,人类可以使用相同的想法原子模型有意识地探索自己领域的异域空间。

为什么读者联想到Flatland、Word2vec和Turtledove

几位评论者通过现有隐喻来框定这篇论文。一位将设置比作Abbott的《Flatland》,其中二维世界的居民不知道第三维。另一位将这项工作描述为“自Word2vec以来我一直在等待的语义空间的杀手级应用”,将其置于意义向量空间表示的谱系中。第三位推荐了Harry Turtledove的短篇小说《The Road not Taken》。

一条更长的评论转向创新扩散的历史,问还有哪些发现就在拐角处等待但未被注意,并指出航空检查单转移到外科手术是实践在一个领域存在很久后才被另一个领域采用的例子。评论者建议AI工具可能改善创新扩散,同时指出了这样做的风险。

一位读者提供了一个个人的、明确未经支持的估计,关于现实中有多少是可及的:人类能构思的不到关于宇宙真相的1%,并且理解那1%中的1%。论文没有做出这种声明,但它通过假设存在一个大的连贯研究方向空间,位于任何当前社区可能探索的区域之外,操作化了相同直觉的一个更窄版本。

论文的框架:补充人类科学,而不仅仅是加速它

摘要直接陈述了预期目标:通过将科学合理性与社区可及性分开,该框架指向AI构思,它补充而非仅仅加速人类科学,将探索扩展到社区可能忽视的连贯方向。论文有11个主要页面和44个附录页面,29个图,列在cs.AI和cs.LG下。其DOI是10.48550/arXiv.2603.01092,arXiv上的当前版本是v3,提交于2026年10月21日,继v1于2026年3月1日和v2于2026年5月15日之后。

Sources