OpenAI AI 与计算分析
AI 计算的指数增长
自 2012 年起，用于最大规模 AI 训练的计算量呈指数增长，平均每 3.4 个月翻一番。该增长率远高于摩尔定律——历史上其翻倍周期约为两年。自 2012 年以来，这一指标增长了超过 300,000 倍，而若遵循摩尔定律的翻倍周期，则仅会增长约 7 倍。
OpenAI 指出，计算能力的提升是 AI 进步的关键因素，暗示业界应为具备远超当前水平能力的系统可能带来的影响做好准备。
AI 计算的历史时期
对 1959 年至 2012 年数据的分析揭示了 AI 训练计算使用的两个截然不同的时代：
- 第一时代（1959–2012）： AI 结果大致跟随摩尔定律的增长。
- 现代时代（2012–至今）： AI 训练计算显著超越了硬件宏观增长趋势。
值得注意的是，计算使用的趋势在“AI 冬天”或热潮期间保持一致，这表明这些投资和炒作的周期对过去半个世纪用于训练学习系统的实际计算能力影响甚微。
计算量估算方法
OpenAI 使用了两种主要方法来估算训练知名 AI 结果所使用的总计算量，单位为 petaflop/s-days（pfs-days）。
方法一：计数操作
该方法直接统计每个训练样本在所描述的架构中执行的浮点运算（FLOPs）——具体为加法和乘法的次数，然后乘以训练期间前向和后向传播的总次数。当架构和训练细节全部公开时使用此方法。
方法二：GPU 训练时间
当无法获得直接的操作计数时，OpenAI 基于使用的 GPU 数量、训练时长以及假设的利用率来估算计算量。标准假设如下：
- GPU 利用率： 33%（0.33）
- CPU 利用率： 17%（0.17）
OpenAI 表示，这些计算并非旨在精确，而是力求在 2–3 倍的范围内正确，关注数量级。
知名 AI 结果的计算需求
虽然并非每项重要突破都需要巨大的计算资源，OpenAI 仍列出几项在相对 modest（适度）计算量下取得的显著成果：
- Attention is all you need（Transformer）： 0.089 pfs-days
- Adam Optimizer： < 0.0007 pfs-days
- Learning to Align and Translate： 0.018 pfs-days
- GANs： < 0.006 pfs-days
- Word2Vec： < 0.00045 pfs-days
- Variational Auto Encoders： < 0.0000055 pfs-days
Sources
- OriginalAI and compute