量化智能体编码评估中的基础设施噪声
智能体编码基准在很大程度上受到底层基础设施配置的影响，这意味着排行榜分数上的微小差异可能反映的是硬件差异，而非真实的模型能力差距。这项研究表明，资源余量可以极大地改变评估结果，因此有必要将资源配置视为模型测试中的一个主要实验变量。
运行时环境对智能体评估的影响
智能体编码评估与静态基准有根本性的不同，因为运行时环境是问题解决过程中不可或缺的组成部分。在这些测试中，模型编写代码、运行测试、安装依赖项，并在完整的环境中多次迭代。因此，提供给智能体的资源预算和时间限制不是被动的约束，而是影响成功的积极因素。
在使用 Terminal-Bench 2.0 的内部实验中，资源配置最充足与最不充足的设置之间的成功率差距被测量为 6 个百分点（p < 0.01）。这一发现凸显了仅基础设施配置一项就能产生超过用于判断相对模型能力的典型差距的差异。
资源分配与成功率趋势
为了量化评估脚手架的影响，研究人员在六种不同的资源配置下运行了 Terminal-Bench 2.0，从严格执行每项任务规范（1x）到完全不受限制的资源。实验显示了一个明显的趋势：成功率随着资源余量的增加而单调上升。
基础设施可靠性 vs. 能力提升
- 严格执行（1x）： 在严格执行下，基础设施错误率很高，5.8% 的任务因与模型能力无关的 pod 错误而失败。在 1x 下崩溃的任务通常并非朝着正确解决方案的方向发展。
- 中等余量（1x 到 3x）： 将资源增加到 3x 余量显著降低了基础设施错误率（从 5.8% 降至 2.1%，p < 0.001）。然而，此范围内的成功分数在噪声范围内波动（p=0.40）。
- 充足余量（3x 到无限制）： 在 3x 以上，趋势发生了变化。成功率的上升速度快于基础设施错误率的下降速度。额外的资源使智能体能够采用需要大量分配的方法，例如生成昂贵的子进程或引入大型依赖项。
- 总提升： 在无限制资源下，相对于 1x 配置的总成功率提升为 +6 个百分点（p < 0.01）。
资源限制如何改变评估测量
资源配置根据所提供的余量水平，以两种不同的方式影响评估。
机制一：修复可靠性（最高 3x）
在最高约为 Terminal-Bench 规范 3x 的范围内，额外的资源主要修复基础设施可靠性问题，特别是瞬态资源峰值。基准维护者使用的沙箱提供商隐式地处理这种稳定性，而不会使评估本质上变得更容易。
机制二：改变问题空间（3x 以上）
在 3x 阈值以上，额外的资源积极地帮助智能体解决之前无法解决的问题。这表明资源限制可以改变评估所衡量的内容：严格的限制无意中奖励了高效的策略，而宽松的限制则奖励能够有效利用所有可用资源的智能体。
例如，在 bn-fit-modify 任务中，宽松的限制允许模型安装标准的 Python 数据科学栈（pandas、networkx、scikit-learn）。在严格的限制下，pod 在安装过程中内存耗尽，阻止了智能体甚至编写解决方案代码。
跨基准泛化噪声
这种资源引起的差异模式在不同的 Anthropic 模型上得到了重复验证。该效应也在 SWE-bench（一个不同的编码评估）上进行了测试，方法是在 227 个问题中将总可用 RAM 变化至基线的 5 倍。同样的效应依然存在，尽管幅度较小，5x RAM 下的分数仅比 1x 时高 1.54 个百分点。这种较小的效应是预期的，因为 SWE-bench 任务的资源密集度较低。
除了资源分配之外，其他变量也会导致评估噪声。智能体评估是端到端的系统测试，因此容易受到诸如时间限制、集群健康状况、并发级别和 API 延迟等混杂因素的影响，这些因素可能会随流量模式而波动。
可复现评估的建议
为了减轻基础设施噪声并确保可复现的结果，建议采用以下做法：
- 理想场景： 最严格的方法是在相同的硬件条件下运行评估，包括脚手架和推理栈。
- 实际实施： 鉴于容器运行时强制执行资源的方式（通过保证分配和硬性终止阈值），评估应为每个任务指定这两个参数，而不是一个固定的值。将保证分配设置为等于终止阈值会为零星内存峰值留下零余量。
- 校准原则： 保证分配与硬性终止阈值之间的区间应进行校准，使得下限和上限的分数落在彼此的噪声范围内。对于 Terminal-Bench 2.0，3x 的上限将基础设施错误率降低了约三分之二（5.8% 降至 2.1%，p < 0.001），同时保持了适度的分数提升且在噪声范围内（p = 0.40）。
结论：解读排行榜差异
基准分数越来越多地用于关键决策，但对这些数字的依赖必须考虑到基础设施可变性的影响而有所节制。如果没有标准化的设置配置，就很难区分真正的能力差异和基础设施的异常。
Anthropic 建议将智能体评估的资源配置视为一等实验变量。在资源方法标准化之前，低于 3 个百分点的排行榜差异应持怀疑态度，因为已记录的基础设施混杂因素叠加在现有的统计不确定性之上。