Ilya Sutskever 的核心机器学习论文：初学者精选阅读清单

机器学习社区长期流传着一份传闻中的清单，其中包含 30 篇由 OpenAI 联合创始人 Ilya Sutskever 提供给 John Carmack 的核心论文。虽然完整的权威清单仍难以寻觅，但 30papers.com 项目已经汇编了其中的 27 篇具有影响力的著作，为初学者进入现代 AI 的基础概念提供了一个友好便捷的入口。

核心深度学习基础

这些资源侧重于从基础线性分类器到复杂深度架构的转变，为理解神经网络如何处理信息奠定了必要的基础。

• CS231n: Convolutional Neural Networks for Visual Recognition: 一套全面的课程笔记，从第一原理开始教授卷积网络，从线性分类器过渡到用于图像处理的深度架构。
• The Unreasonable Effectiveness of Recurrent Neural Networks: 对字符级 RNN 的实操探索，展示了这些网络如何捕捉文本生成中的结构化模式。
• Understanding LSTM Networks: 关于长短期记忆 (LSTM) 门控机制的可视化指南，解释了信息如何在长序列中传递。

里程碑式架构与突破

本节涵盖了定义了深度学习现代时代的论文，介绍了使网络能够在保持可训练性的同时增加规模和深度的架构。

• ImageNet Classification with Deep Convolutional Neural Networks (AlexNet): 以巨大优势赢得 ImageNet 竞赛的网络，有效地开启了现代深度学习时代。
• Deep Residual Learning for Image Recognition (ResNet): 引入了残差连接，允许网络通过学习输入的改变量而非完整的变换来达到数百层的深度。
• Identity Mappings in Deep Residual Networks: ResNet 的后续研究，提出了更简洁的预激活残差块，并探讨了为什么恒等映射快捷路径是有效的。
• Multi-Scale Context Aggregation by Dilated Convolutions: 展示了空洞卷积如何在不丢失分辨率的情况下扩大感受野，从而改进分割等密集预测任务。

序列建模与 Transformer 的兴起

这些论文追踪了序列到序列 (sequence-to-sequence) 模型的演变，从注意力机制的引入到如今支撑几乎所有大语言模型 (LLM) 的架构。

• Neural Machine Translation by Jointly Learning to Align and Translate: 引入注意力机制的开创性论文，允许模型专注于相关的源语言单词，而非仅仅依赖单一的固定摘要。
• Attention Is All You Need (The Transformer): 该架构完全用自注意力机制取代了循环结构，构成了现代 LLM 的基础。
• The Annotated Transformer: 对 Transformer 论文的可运行、逐行实现的重构，将理论概念转化为可读的代码。
• Pointer Networks: 一种序列模型，其输出指向输入位置，非常适合涉及选择或排序的问题。
• Order Matters: Sequence to Sequence for Sets: 探讨了输入/输出顺序如何影响序列到序列模型，以及如何处理基于集合的数据。

高级推理、记忆与图网络

这些作品探索了如何通过外部记忆或专门用于关系推理的模块来扩展神经网络。

• Neural Turing Machines: 将神经网络与外部记忆相结合，通过可微注意力机制对其进行读写。
• A Simple Neural Network Module for Relational Reasoning: 引入了关系网络，用于对物体对进行推理。
• Relational Recurrent Neural Networks: 为循环网络增加了基于自注意力的记忆，以提高随时间推移的关系推理能力。
• Neural Message Passing for Quantum Chemistry: 在消息传递框架下统一了图神经网络，以预测分子属性。

规模定律与训练效率

Scaling Laws for Neural Language Models**: 建立了一种规律，即语言模型的损失随模型规模、数据和计算量呈平滑的幂律关系下降——这是扩展 LLM 的经验性基础。

• GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism: 一个用于在设备间拆分巨型模型的库，使训练超大规模网络变得切实可行。

信息论与复杂度

本节超越了特定的架构，转向了智能的理论基础，将学习与压缩和数据的最短描述长度联系起来。

• Keeping Neural Networks Simple by Minimizing the Description Length of the Weights: 早期关于将泛化能力与压缩联系起来的论点，认为权重可以用极少比特数描述的网络是更优的的。
• A Tutorial Introduction to the Minimum Description Length (MDL) Principle: 关于如何根据模型对数据的压缩能力来选择模型的指南。
• Kolmogorov Complexity: 描述长度和算法随机性的正式理论骨干，定义了产生一个字符串的最短程序。
• The First Law of Complexodynamics: 一篇博客文章，探讨了为什么封闭系统的复杂度会上升和下降。
• Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton: 一个细胞自动机模型，用于探索复杂度与平衡态的关系。

其他专门化模型

• Variational Lossy Autoencoder: 结合了变分自编码器与自回归解码器，以控制潜在代码的信息量。
• Machine Super Intelligence: 一篇博士论文，提出了一个通用的机器智能度量标准。
• Deep Speech 2: 一个使用连接时序分类 (connectionist temporal classification) 的端到端语音识别系统。
• Recurrent Neural Network Regularization: 关于如何正确地将 dropout 应用于 LSTM 以防止过拟合的指南。

社区洞察与观点

虽然清单的来源尚存争议，但社区已针对其效用和教学价值总结了几个关键点。

"许多论文中的一些是公认的优秀教学资源……而另一些则是里程碑式的论文，任何对该领域感兴趣的人都将从中受益。"

社区分享的一个显著的理论观点是智能与压缩之间的联系。正如一位贡献者所言，Ilya Sutskever 曾辩称，神经网络之所以能够泛化，是因为它们实际上是在寻找训练数据的简单描述，从而趋向于 Kolmogorov 复杂度之限。

对于初学者，一些用户建议在深入研究论文之前，先阅读 Welch Labs 的 Illustrated Guide To AI，作为补充，因为对于不熟悉该格式的人来说，阅读研究论文可能会具有挑战性。