自我蒸餾：大型語言模型持續學習的新前沿

「災難性遺忘」的挑戰長期以來一直困擾著大型語言模型 (LLMs) 的發展。當模型在新的數據集上進行微調時——例如特定的醫療或法律領域——它往往會失去原本訓練時所具備的通用任務能力。這種在塑性（學習新事物的能力）與穩定性（保留舊知識的能力）之間的緊張關係，是追求真正持續學習過程中的核心障礙。

最近的一篇論文 Self-Distillation Enables Continual Learning 提出了一種處理此問題的新思維。透過利用自我蒸餾，研究人員建議了一條通往專業化模型的路徑，使其能在不犧牲基礎能力的同時，專精於利基領域。

理解機制：自我蒸餾

自我蒸餾的核心是一個模型扮演其自身的老師的過程。在傳統的知識蒸餾中，一個較小的「學生」模型被訓練來模仿一個較大的、預訓練過的「老師」模型。而在自我蒸餾中，基礎模型被用來為自己生成高品質的目標值。

根據研究，當模型獲得適當的示範時，這種方法特別有效。例如，使用 Qwen-2.5-7B-Instruct 模型和 ToolAlpaca 數據集，研究人員觀察到了顯著的性能飛躍：

在沒有示範的情況下，基礎模型僅能解決 42% 的範例。當為每個提示詞 x 提供適當的示範 c 時，老師模型達到了 100% 的成功率。

關鍵在於，研究人員發現模型並非只是單純地複製輸出。對推理過程的檢查顯示，中間的思維鏈 (chain-of-thought) 是有效且具有語義基礎的，這表明模型正在重建正確的推理過程，而非僅僅是模仿模式。

自我蒸餾最受期待的影響之一，是其在輕量化、領域特定微調方面的潛力。傳統的有監督微調 (SFT) 可能既繁瑣又容易產生前述的遺忘問題。自我蒸餾則提供了一種更精準的專業化方法。

這可以實現為以下領域創建高度專業化的模型：

從資源的角度來看，這種方法的出奇地容易實現。報告指出，此類微調可以在相對適度的硬體配置下進行，例如 8 台 H200 或 4 台 H100 GPU。這降低了想要建立專業化 AI 的組織在沒有兆參數基礎模型提供商那樣龐大預算的門檻。

有趣的是，這種技術的出現似乎是學術界的趨勢匯合點。兩個獨立的團隊——一個來自 MIT & ETH，另一個來自 UCLA——在 1 月份相隔僅一天之內，向 arXiv 提交了幾乎相同的關於 on-policy 自我蒸餾的論文。

然而，並非所有觀察者都完全信服。一些批評者認為，這些論文中使用的語言——特別是如「實現」和「建立」等詞彙——可能過於自信。這種懷疑源於在特定基準測試上的經驗驗證與針對持續學習通用解決方案的理論證明之間的差距。

如果自我蒸餾的結果在更廣泛的審查下站得住腳，它可能代表了自 Transformer 架構引入以來，LLM 開發中最重大的轉變之一。透過緩解新學習與舊記憶之間的權衡，自我蒸餾可以將 LLMs 從通用工具轉轉變為一個由高度專業化、但基礎能力依然強大的專家代理人所組成的靈活生態系統。