OpenAI Deep Double Descent

OpenAI 已證明雙重下降（double descent）現象發生在各種深度學習架構中，包括 CNNs、ResNets 和 transformers。這種行為表現為一種模式：隨著模型大小、數據大小或訓練時間的增加，模型性能先是提升，接著惡化，最後再次提升。

Model-Wise Double Descent

測試誤差並非隨著模型大小增加而呈現單調路徑；相反地，它呈現出「雙重下降」模式。隨著神經網絡中的參數數量增加，測試誤差最初會下降，接著增加到一個峰值，最後一旦模型大到足以擬合訓練集時，會經歷第二次下降。

這個測試誤差的峰值發生在「臨界狀態」（critical regime）或插值閾值（interpolation threshold），此時模型剛好足以擬合訓練數據。會改變此插值閾值的因素——例如優化算法的變更、訓練樣本數量的增加或標籤噪聲（label noise）的量——也會改變測試誤差峰值的位置。當數據集中加入標籤噪聲時，這種現象最為顯著，這會放大峰值並使其更容易被觀察到。

Sample-Wise Non-Monotonicity

在特定狀態下，增加訓練數據量可能會導致更差的測試性能。雖然增加更多樣本通常會將整體誤差曲線向下移動，但它也會將插值閾值和相關的測試誤差峰值向右移動，因為需要更大的模型來擬合更大的數據集。

對於中等大小的模型，這兩種效應可能會結合起來，創造出一種在更多數據上進行訓練反而會損害性能的狀態。在一個涉及於語言翻譯任務中訓練 transformers 的觀察案例中，訓練樣本數增加到 4.5 倍時，某些模型大小的測試性能反而變差了。

Epoch-Wise Double Descent

訓練模型更長的時間可以逆轉過擬合。對於固定的模型大小，隨著優化步驟的進行，測試和訓練誤差可能會下降、增加，然後再次下降。這被稱為 epoch-wise double descent。

在模型大小和優化步驟方面，測試誤差的峰值始終出現在模型剛好足以擬合訓練集時。

Theoretical Intuition and Open Questions

OpenAI 建議，在插值閾值處，實際上只有一個模型可以擬合訓練數據。強迫這個單一模型去擬合帶有噪聲或錯誤指定的標籤，會破壞其全局結構，導致沒有「好模型」能同時進行訓練集的插值並在測試集上表現良好。

然而，在過度參數化（over-parameterized）狀態下，許多模型可以擬合訓練集。隨機梯度下降（SGD）的隱式偏差（implicit bias）被認為會引導優化過程走向泛化能力良好的「好模型」，儘管確切的機制仍是一個開放的研究問題。

細心的正規化（regularization）和早停法（early stopping）被被列為避免雙重下降峰值的常見方法。