OpenAI AIと効率性の分析

OpenAIは、ImageNet分類において特定の性能レベルにニューラルネットワークを訓練するために必要な計算量が、2012年以降、16ヶ月ごとに2倍ずつ減少していることを示す分析結果を公開しました。この傾向は、アルゴリズムの進歩が、従来のハードウェアの改善単独よりも大きな効率性の向上をもたらしていることを示しています。

アルゴリズムの効率性の傾向

アルゴリズムの効率性は、特定の能力を訓練するために必要な計算量の削減として定義されます。性能を一定に保った状態で、OpenAIは複数の領域において、最先端（SOTA）の結果を達成するために必要なリソースの大幅な削減を観察しました：

ImageNet分類: AlexNetのレベルにニューラルネットワークを訓練するために必要な計算量は、2012年と比較して現在44倍少なくなっています。ResNet-50レベルの性能については、効率性の倍増時間は約17ヶ月です。
機械翻訳: Transformerアーキテクチャは、3年後には61倍少ない訓練計算量で、英語からフランス語への翻訳（WMT’14）においてseq2seqの性能を上回りました。
ゲームAI: AlphaZeroは、1年以内にAlphaGoZeroレベルの性能に到達するために必要な計算量が8倍少なくなっていると推定されています。OpenAI Five Rerunは、3ヶ月以内にオリジナルのOpenAI Fiveを上回るために、5倍少ない訓練計算量が必要でした。

OpenAIはこの進歩を「tick tock」モデルとして説明しています。新しい能力（「tick」）はしばしば膨大な計算量の支出を必要としますが、その後にプロセス改善を通じて展開が大幅に効率化される洗練されたバージョン（「tock」）が続きます。

ハードウェアの効率性との比較

ムーアの法則は、ドル/flopの一定な2年間の倍増時間を提案していますが、観察されたアルゴリズムの利得はこれを上回っています。具体的には、AlexNetの性能ベンチマークにおいて、計算効率の44倍の改善は、同期間にムーアの法則によってもたらされるであろう11倍の改善を上回っています。

OpenAIは、ハードウェアとアルゴリズムの効率性の向上が乗算的であることを指摘しています。AIの進歩に関する包括的なモデルは、AI能力の展開コストを時間の経過とともに正確に予測するために、両方を統合する必要があります。

AIの進歩に関するその他の指標

訓練効率に加えて、OpenAIはアルゴリズムの進歩に関する他のいくつかの重要な指標を特定しています：

Sample Efficiency: 低データ環境におけるタスクにおいて極めて重要です。
Training Speed: 学習能力の並列化可能性の尺度です。
Inference Efficiency: GPU時間、パラメータ、およびflopsで測定されます。例えば、ShuffleNetは、5年間で18倍の推論効率の向上を達成しました（倍増時間は15ヶ月）。
Training Cost in Dollars: これに関連していますが、これはアルゴリズムの進歩だけでなく、ハードウェアの利用率やクラウドインフラストラクチャの影響を受けます。

分析の限界と範囲

OpenAIは、この研究におけるいくつかの限界を認めています：

Data Sparsity: 分析は、いくつかのタスクにわたる少数のデータポイントに基づいているため、これらの傾向がすべてのAIタスクに一般化できるかどうかは不明確です。
Focus on Final Run: 分析は、最適化されたモデルの最終的な訓練ランのコストを測定しており、アーキテクチャ探索やハイパーパラメータ調整を含む総開発コストを測定しているわけではありません。
Conceptual Progress: 能力の最初の作成は、その後の効率性の向上よりも、概念的な進歩の大きな割合を占めると見なされます。
No Extrapolation: レポートは、これらの傾向の長期的な外挿を見せずに、結果を提示しています。

AI政策への影響

OpenAIは、測定と評価に焦点を当てることがAI政策立案を改善できると示唆しています。具体的には、分析は政策立案者が以下のことを行うべきであることを示しています：

学術的な計算リソースへの資金提供を増やすこと、学術研究が業界の研究を再現・拡張できるようにするためです。
効率性の改善率を評価すること、時間の経過とともにAI能力の展開コストと展開について正確な直感を得るためです。