Sigmoid 陷阱:预测 AI 进步的上限

人工智能的发展轨迹争论往往在两个极端之间摇摆:一种是相信能力将进行无止境的指数级爆炸,另一种是担心我们正迅速接近一个平台期。这场讨论的核心是 Sigmoid 曲线这一数学概念——一种 S 形函数,其增长开始缓慢,随后呈指数级加速,并最终在达到物理或逻辑上限时趋于平缓。

虽然当前的大语言模型 (LLMs) 时代感觉像是指数曲线的垂直攀升,但历史表明,几乎所有正向增长最终都会变成 Sigmoid 曲线。对于研究人员和预测者来说,关键问题不在于曲线是否会变平,而在于何时以及在什么高度设定平台期。

指数级的错觉

许多 AI 乐观主义者指向规模法则 (scaling laws)——即观察到增加计算量、数据和模型规模会导致性能的可预测改进。这创造了一种进步必然发生的叙事。然而,正如最近的讨论中所指出的,假设一种趋势会无限期持续下去往往是一个认知陷阱。

一种观点建议我们应该将 Lindy's Law 应用于这些趋势。Lindy's Law 认为,对于非易损的事物(如思想或技术),其未来的预期寿命与它们当前的年龄成正比。在 AI 的背景下,这意味着如果一种趋势已经持续了一段时间,默认假设应该是它将再次持续大约相同的时间,而不是假设它会立即崩溃或永远增长。

硬件:物理上限

关于即将到来的平台期的一个常见论点是摩尔定律的衰退。如果为 AI 提供计算能力的硬件正在触及 Sigmoid 上限,那么 AI 能力很可能也会随之而来。然而,这种观点可能过于简单化了。

正如一些技术观察者所指出的,目前的 AI 模型硅基实现仍然非常低效。存在“硬件飞跃”的潜力:

在某些时刻,有人会制造出一种张量处理芯片,用模拟对数幅度乘法 (analogue logamp matmuls) 取代所有的数字矩阵乘法 (digital matmuls),或者忆阻器 (memristors) 的某种突破将开始打破存储与计算之间的障碍。

如果硬件的演进不仅仅是缩小晶体管,而是从根本上改变矩阵乘法处理的方式,那么 AI 的“上限”可能会被推向比当前预测高得多的位置。

“比现实更真实”的问题

另一种概念化 AI 极限的方法是通过 3D 计算机图形学的视角。在 CGI 的早期阶段,将多边形数量翻倍会带来视觉逼真度的巨大飞跃。然而,最终,行业触及了收益递减点。你无法让一张数字图像“比现实更真实”。

这提出了一个根本性的哲学和技术问题:是否存在“智能”或“能力”的上限,就像视觉逼真度存在上限一样?如果 LLMs 仅仅是在模拟人类语言和推理,它们可能会在达到人类水平的熟练度后进入平台期。但如果智能是一种开放式的能力,那么 Sigmoid 曲线可能会比我们想象的要宽得多。

平台期的不可预测性

预测一个指数增长转变为 Sigmoid 增长的确切点是非常困难的,因为变量通常是不透明的。AI 的进步目前依赖于三个主要支柱:

  1. Compute: 硬件的可用性和成本。
  2. Data: 训练集的容量和质量(以及生成合成数据以绕过“数据墙”的能力)。
  3. Algorithmic Efficiency: 从相同资源中挤出更多性能的新范式。

其中任何一个都可能受到外部冲击的影响——地缘政治冲突、监管打击,或仅仅是“伟大思想”的枯竭。

结论

无论 AI 是处于垂直攀升阶段还是正在接近平台期,“Sigmoid”思维模式可以作为对盲目乐观主义的一种必要的修正。虽然我们可能无法预测上限的具体坐标,但意识到所有增长最终都会趋于平缓,有助于更细致地理解风险和潜在可能。AI 的未来可能不会是一条简单的向上直线,而是随着我们从一个技术范式转移到下一个范式时,所经历的一系列转变——有些趋于平缓,有些则实现飞跃。

Sources