Ilya Sutskever 的必讀機器學習論文：為初學者精選的閱讀清單

機器學習社群長期流傳著一份傳說中的 30 篇必讀論文清單，據說是 OpenAI 共同創辦人 Ilya Sutskever 提供給 John Carmack 的。雖然完整的正式清單仍未公開，但專案 30papers.com 已彙整出其中 27 篇具影響力的作品，為想了解現代 AI 基礎概念的初學者提供了友善的入口。

核心深度學習基礎

這些資源聚焦於從基本線性分類器到複雜深度架構的轉變，奠定理解神經網路如何處理資訊的必要基礎。

• CS231n: Convolutional Neural Networks for Visual Recognition：一套完整的課程筆記，從第一原理教導卷積網路，從線性分類器逐步過渡到影像的深度架構。
• The Unreasonable Effectiveness of Recurrent Neural Networks：實作導向的字符層級 RNN 探索，展示這類網路如何在文字生成中捕捉結構模式。
• Understanding LSTM Networks：以視覺化方式說明長短期記憶（LSTM）門機制，解釋資訊如何在長序列中傳遞。

里程碑架構與突破

本節涵蓋定義現代深度學習時代的論文，介紹讓網路在規模與深度上持續成長且仍可訓練的架構。

• ImageNet Classification with Deep Convolutional Neural Networks (AlexNet)：以絕對優勢贏得 ImageNet 競賽的網路，實質開啟了現代深度學習時代。
• Deep Residual Learning for Image Recognition (ResNet)：引入殘差連接，使網路可透過學習輸入的變化而非完整轉換，達到上百層的深度。
• Identity Mappings in Deep Residual Networks：ResNet 的後續工作，提出更簡潔的前置激活殘差模組，並探討為何恆等捷徑如此有效。
• Multi-Scale Context Aggregation by Dilated Convolutions：說明膨脹卷積如何在不失解析度的情況下擴大感受野，提升分割等密集預測任務。

序列建模與 Transformer 的崛起

這些論文追溯序列到序列模型的演變，從注意力機制的引入到如今支撐幾乎所有大型語言模型（LLM）的架構。

• Neural Machine Translation by Jointly Learning to Align and Translate：開創性論文，引入注意力機制，使模型能聚焦於相關的來源詞彙，而非單一固定摘要。
• Attention Is All You Need (The Transformer)：以自注意力完全取代循環結構的架構，成為現代 LLM 的基礎。
• The Annotated Transformer：可執行的逐行重實作，將理論概念轉化為可讀程式碼。
• Pointer Networks：輸出指向輸入位置的序列模型，適用於選擇或排序問題。
• Order Matters: Sequence to Sequence for Sets：探討輸入/輸出順序如何影響序列到序列模型，並說明處理集合資料的方法。

進階推理、記憶與圖形網路

這些作品探討如何透過外部記憶或專門模組擴展神經網路，以實現關係推理。

• Neural Turing Machines：將神經網路與可透過可微分注意力讀寫的外部記憶結合。
• A Simple Neural Network Module for Relational Reasoning：提出關係網路，用於對物件對進行推理。
• Relational Recurrent Neural Networks：在循環網路中加入基於自注意力的記憶，以提升時間上的關係推理能力。
• Neural Message Passing for Quantum Chemistry：將圖神經網路統一於訊息傳遞框架，用於預測分子性質。

規模律與訓練效率

隨著模型變大，焦點轉向描述其效能的實證規律，以及在硬體上提升訓練效率的方法。

• Scaling Laws for Neural Language Models：證明語言模型的損失會隨模型大小、資料量與計算量呈平滑的冪律下降，為 LLM 的擴展提供實證基礎。
• GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism：一個將巨型模型切分至多設備的函式庫，使極大網路的訓練變得可行。

信息理論與複雜度

本節超越特定架構，探討智慧的理論基礎，將學習與壓縮以及資料最短描述相連結。

• Keeping Neural Networks Simple by Minimizing the Description Length of the Weights：早期論點，將泛化能力與壓縮聯繫，認為能以少量位元描述權重的網路更優。
• A Tutorial Introduction to the Minimum Description Length (MDL) Principle：指導如何依據模型對資料的壓縮程度來選擇模型。
• Kolmogorov Complexity：描述長度與算法隨機性的正式基礎，定義產生字串的最短程式。
• The First Law of Complexodynamics：部落格文章，探討封閉系統中複雜度的升降原因。
• Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton：以細胞自動機模型研究複雜度與平衡。

其他專門模型

• Variational Lossy Autoencoder：結合變分自編碼器與自回歸解碼器，以控制潛在碼資訊。
• Machine Super Intelligence：博士論文，提出機器智慧的通用衡量指標。
• Deep Speech 2：使用連接時序分類的端到端語音辨識系統。
• Recurrent Neural Network Regularization：指導如何正確對 LSTM 使用 dropout，以防止過擬合。

社群見解與觀點

雖然清單的來源屬於傳聞，但社群已指出其實用性與教學價值的多項關鍵要點。

"其中許多資源因為具備良好的教學性而廣受認可… 其他則是任何對此領域有興趣的人都應該閱讀的里程碑論文。"

社群中另一個顯著的理論觀點是智慧與壓縮之間的關聯。正如一位貢獻者所述，Ilya Sutskever 主張神經網路之所以能夠泛化，是因為它們實際上在為訓練資料尋找簡單的描述，朝向 Kolmogorov 複雜度的極限收斂。

對於初學者，有使用者建議在閱讀這些論文之前，先補充閱讀 Welch Labs 的《Illustrated Guide To AI》，因為研究論文的閱讀對於不熟悉此格式的讀者而言可能相當具挑戰性。

---

摘要

一套精選的 27 篇必讀機器學習論文與資源，根據傳聞中 Ilya Sutskever 提供給 John Carmack 的清單彙整，旨在引導初學者掌握深度學習與 AI 的核心概念。

標題

Ilya Sutskever 的必讀機器學習論文：為初學者精選的閱讀清單