OpenAI Deep Double Descent

OpenAIは、CNNs、ResNets、およびtransformersを含む様々なディープラーニング・アーキテクチャにおいて、double descent（二重降下）現象が発生することを示しました。この挙動は、モデルのサイズ、データサイズ、または学習時間が大きくなるにつれて、モデルの性能が最初に向上し、次に悪化し、最後に再び向上するというパターンとして現れます。

Model-Wise Double Descent

テストエラーは、モデルのサイズが増加するにつれて単調な経路を辿るわけではなく、代わりに「double descent」パターンを示します。ニューラルネットワークのパラメータ数が成長するにつれて、テストエラーは最初に減少し、次にピークに向かって増加し、最終的にはモデルがトレーニングセットに適合するのに十分な大きさになったときに、二度目の降下が発生します。

このテストエラーのピークは、「critical regime（臨界領域）」または補間閾値（interpolation threshold）において発生します。これは、モデルがトレーニングデータを適合させるのにちょうど足りる大きさである状態です。この補間閾値をシフトさせる要因（最適化アルゴリズムの変更、トレーニングサンプルの数、またはラベルノイズの量など）も、テストエラーのピークの位置をシフトさせます。この現象は、データセットにラベルノイズが加えられたときに最も顕著になり、ピークが増幅され、観察しやすくなります。

Sample-Wise Non-Monotonicity

特定の領域において、トレーニングデータの量を増やすことが、テスト性能の劣化を招く可能性があります。より多くのサンプルを追加することは、一般的に全体の誤差曲線全体を下方へシフトさせますが、同時に補間閾値とそれに関連するテストエラーのピークを右側へシフトさせます。なぜなら、より大きなデータセットに適合させるためには、より大きなモデルが必要になるからです。

中間的なモデルサイズの場合、これら2つの効果が組み合わさることで、より多くのデータで学習すること自体が性能を低下させる領域が生じることがあります。言語翻訳タスクで学習されたtransformersに関する観察されたケースでは、4.5倍のサンプル数で学習した結果、特定のモデルサイズにおいてテスト性能が悪化しました。

Epoch-Wise Double Descent

モデルをより長い期間学習させることで、過学習を逆転させることができる場合があります。固定されたモデルサイズにおいて、最適化ステップが進むにつれて、テストエラーとトレーニングエラーは、減少、増加、そして再び減少するという過程を辿ることがあります。これは「epoch-wise double descent」と呼ばれます。

モデルのサイズと最適化ステップ全体を通じて、テストエラーのピークは、モデルがトレーニングセットに適合できるかどうかの境界において一貫して現れます。

Theoretical Intuition and Open Questions

OpenAIは、補間閾値においては、トレーニングデータに適合するモデルは実質的に1つしか存在しないことを示唆しています。この単一のモデルにノイズのあるラベルや誤った指定のラベルを適合させようと強制することは、そのグローバルな構造を破壊し、トレーニングセットを補間しつつテストセットでも良好な性能を発揮できる「良いモデル」が残らなくなることを意味します。

しかし、過剰パラメータ化（over-parameterized）領域においては、多くのモデルがトレーニングセットに適合できます。確率的勾配降下法（SGD）の暗黙的なバイアスは、最適化プロセスを「汎化性能の高い良いモデル」へと導くものと考えられていますが、その正確なメカニズムは依然として未解決の研究課題です。

注意深い正則化（regularization）や早期終了（early stopping）は、double descentのピークを避けるための一般的な手法として挙げられています。