Hugging Face ICML 2026 开放复现报告

Hugging Face 组织了一场从 2026 年 7 月 15 日到 8 月 2 日开展的社区驱动黑客松，利用编程智能体（coding agents）来复现 ICML 2026 会议的论文主张。此次努力复现了 2,226 篇论文——约占会议论文总数的四分之一——生成了 6,816 份 Trackio 日志簿，并对 35,908 个独立主张进行了判定。

大规模复现性发现

通过对所审查论文的主张级判定结果进行分析，揭示了复现性方面的显著分化：

已验证的主张： 51% 的受审论文（1,103 篇）至少有一个经过独立验证的主张。其中，266 篇论文被完全复现（所有主张均已验证），632 篇论文被部分复现且未发现伪造。总共有 3,978 个独立主张通过实验得到了确认。
被伪造或有争议的主张： 23% 的受审论文（496 篇）至少有一个主张被判定为伪造或存在争议。这包括 49 篇论文的所有主张均被判定为伪造，以及 242 篇论文的不同复现团队对同一主张得出了相反的判定结果。
不确定或玩具级结果： 502 篇论文仅提供了玩具级规模的证据，280 篇论文仍处于不确定状态，这通常是由于缺少研究产物（artifacts）或私有数据集。

技术分析：已确认的伪造情况

Hugging Face 对 35 个正式的伪造主张进行了对抗性再验证。研究中识别并确认了几个备受关注的错误：

数学与证明错误

在论文 "Towards Optimal Robustness in Learning-Augmented Paging" 中，关于鲁棒性 $H_{k} + O(1)$ 的主张被判定为伪造。复现工作发现，加法项随 $0.38 ext{ln } k$ 增长，这意味着真实的鲁棒性是 $H_{k} + ext{Θ}( ext{log } k)$。

在 "Attention's forward pass and Frank-Wolfe" 中，一个关于 token particle collapse 的定理在第 224 步（随后在第 3,800 步和第 6,416 步）被发现失效。由于有限时限的检查过早停止，这些违规行为被其他审稿人忽略了。

实现差异

在 "Self-Distillation Enables Continual Learning" 中，理论分析侧重于反向 KL 散度，但发布的代码——即产生论文结果的代码——使用的是正向 KL 散度。此外，论文标题中提到的 +4pp 结果无法使用作者自己的代码和数据进行复现。

评估缺陷

在 "Do Transformers Need Three Projections?" 中，发现大约 66% 的评估标签位置是 EOS padding tokens。这种填充（padding）使得困惑度（perplexity）降低了三倍，从而将报告的 "50% 缓存减少带来的 3.1% 质量成本" 变更为约为 9.4%。

编程智能体在研究审计中的作用

此次黑客松利用了多种智能体框架，包括 Claude Code, Codex, Cursor, 和 OpenResearch 的 orx。每次复现都会生成一份包含撰写内容、代码、研究产物（artifacts）和智能体执行轨迹的 Trackio 日志簿。

智能体局限性

尽管效率很高，但智能体遇到了几种失败模式：

局部循环： 智能体偶尔会陷入重复执行的循环中。
规模误判： 一些智能体验证了实际上是错误的结论，因为它们在规模相关行为（例如 paging 论文中随 $ ext{log } k$ 增长的趋势）变得明显之前就停止了实验。
单位不匹配： 一些伪造判定是基于智能体对单位的错误假设。

人机协作的必要性

最可靠的结果来自于人类引导智能体的流程。例如，在复现一篇关于极端量化下稳定图像生成的论文时，数值指标显示没有发生崩溃，指标没有变化，但需要人类进行感知判断，通过观察 128 对图像来确定图像是否真的可用。

黑客松方法论

为了便于审计，Hugging Face 索引了 6,341 篇被接收的 ICML 2026 论文，并提取了核心科学主张，以便为智能体提供具体的目标。评估过程包括：

智能体执行： 参与者使用他们选择的智能体来编写代码并运行实验，利用 HF Jobs 进行计算。
日志簿生成： 每次运行都会生成一个静态的 Hugging Face Space (Trackio 日志簿) 以确保透明度。
自动化判定： 一个开源权重模型 (GLM-5.2) 担任 Logbook Judge，对每个主张给出 verified (已验证), falsified (已伪造), toy (玩具级), 或 inconclusive (不确定) 的判定结果，并将自我评估视为不可信。