OpenAI AI と計算分析

AI 計算の指数的成長

2012 年以降、最大規模の AI 訓練に使用される計算量は指数的に増加し、3.4 か月ごとに倍増しています。この成長率は、歴史的に約 2 年で倍増していたムーアの法則をはるかに上回ります。2012 年からの期間で、この指標は 300,000 倍以上に成長しましたが、ムーアの法則に従った場合はわずか 7 倍の増加にとどまります。

OpenAI は、計算能力の向上が AI の進歩の重要な要素であると指摘し、業界は現在利用可能なものをはるかに超える能力を持つシステムの影響に備えるべきだと示唆しています。

AI 計算の歴史的時代

1959 年から 2012 年までのデータ分析により、AI 訓練における計算使用量の 2 つの明確な時代が明らかになりました。

第一時代（1959–2012）: AI の成果は概ねムーアの法則の成長に追随していました。
現代（2012–現在）: AI 訓練における計算はハードウェアのマクロ的成長を大幅に上回っています。

特に、計算使用量の傾向は「AI の冬」や熱狂の時期に関係なく一貫しており、過去半世紀にわたる投資やハイプのサイクルが実際に使用された計算能力にほとんど影響を与えていないことを示唆しています。

計算量推定の方法論

OpenAI は、広く知られた AI 結果を訓練するために使用された総計算量をペタフロップ/秒-日（pfs-days）で測定するために、主に 2 つの方法を用いました。

方法 1: 演算数のカウント

この方法は、記述されたアーキテクチャごとに訓練サンプルあたりの浮動小数点演算（FLOP）―具体的には加算と乗算―の数を直接カウントし、訓練中の総フォワードおよびバックワードパス回数と掛け合わせます。アーキテクチャと訓練の詳細が完全に公開されている場合に使用されます。

方法 2: GPU 訓練時間

直接的な演算数が不明な場合、OpenAI は使用された GPU の数、訓練期間、および想定される利用効率に基づいて計算量を推定します。標準的な仮定は次のとおりです。

GPU 利用率: 33% (0.33)
CPU 利用率: 17% (0.17)

OpenAI は、これらの計算は正確さを追求したものではなく、2〜3 倍の範囲で正しいことを目指し、オーダー・オブ・マグニチュード（数量級）に焦点を当てていると述べています。

注目すべき AI 結果の計算要件

膨大な計算がすべての重要なブレークスルーに必要というわけではありませんが、OpenAI は比較的少量の計算で達成された注目すべき結果をいくつか特定しています。

Attention is all you need (Transformer): 0.089 pfs-days
Adam Optimizer: < 0.0007 pfs-days
Learning to Align and Translate: 0.018 pfs-days
GANs: < 0.006 pfs-days
Word2Vec: < 0.00045 pfs-days
Variational Auto Encoders: < 0.0000055 pfs-days