Ilya Sutskever の必読 ML 論文集：初心者向けキュレーションリーディングリスト

機械学習コミュニティでは、OpenAI 共同創業者の Ilya Sutskever が John Carmack に提供したと噂される 30 本の必読論文リストが長らく回覧されてきました。完全な正典リストは未だ明らかになっていませんが、プロジェクト 30papers.com がその中から 27 本の影響力ある作品をまとめ、初心者が現代 AI の基礎概念に入るための入り口を提供しています。

コアディープラーニング基礎

これらのリソースは、基本的な線形分類器から複雑な深層アーキテクチャへの移行に焦点を当て、ニューラルネットワークが情報を処理する仕組みを理解するために必要な土台を築きます。

• CS231n: Convolutional Neural Networks for Visual Recognition: 線形分類器から画像向け深層アーキテクチャへと、畳み込みネットワークを第一原理から教える包括的な講義ノート。
• The Unreasonable Effectiveness of Recurrent Neural Networks: 文字レベル RNN のハンズオン探索。テキスト生成においてネットワークが構造的パターンをどのように捉えるかを示します。
• Understanding LSTM Networks: LSTM のゲートを視覚的に解説し、情報が長いシーケンスを通してどのように運ばれるかを説明します。

画期的アーキテクチャとブレークスルー

このセクションでは、深層学習の現代時代を定義した論文を取り上げ、ネットワークがサイズと深さを拡大しながらも学習可能であることを可能にしたアーキテクチャを紹介します。

• ImageNet Classification with Deep Convolutional Neural Networks (AlexNet): ImageNet で大差で優勝したネットワークで、現代の深層学習時代を事実上開始しました。
• Deep Residual Learning for Image Recognition (ResNet): 残差接続を導入し、入力の変化だけを学習することで数百層のネットワークを実現しました。
• Identity Mappings in Deep Residual Networks: ResNet の続編で、よりクリーンな事前活性化残差ブロックを提案し、アイデンティティ・ショートカットが有効な理由を探ります。
• Multi-Scale Context Aggregation by Dilated Convolutions: 膨張畳み込みが解像度を失わずに受容野を拡大し、セグメンテーションなどの密な予測タスクを改善する様子を示します。

シーケンスモデリングとトランスフォーマーの台頭

これらの論文は、シーケンス‑ツー‑シーケンスモデルの進化をたどり、注意機構の導入から、現在ほぼすべての大規模言語モデル（LLM）の基盤となっているアーキテクチャへと至ります。

• Neural Machine Translation by Jointly Learning to Align and Translate: 注意機構を初めて導入した画期的な論文で、モデルが固定された要約ではなく、関連するソース単語に焦点を当てられるようにしました。
• Attention Is All You Need (The Transformer): 再帰を完全に自己注意に置き換えたアーキテクチャで、現代 LLM の基礎を形成します。
• The Annotated Transformer: Transformer 論文を行ごとに実装した実行可能なコードで、理論概念を読みやすい形に落とし込みます。
• Pointer Networks: 出力が入力位置を指し示すシーケンスモデルで、選択や順序付けが必要な問題に最適です。
• Order Matters: Sequence to Sequence for Sets: 入出力の順序がシーケンス‑ツー‑シーケンスモデルに与える影響と、集合データを扱う方法を検討します。

高度な推論、メモリ、グラフネットワーク

これらの作品は、外部メモリや関係推論用の特殊モジュールを組み込むことで、ニューラルネットワークを拡張する方法を探ります。

• Neural Turing Machines: ニューラルネットワークと外部メモリを結びつけ、微分可能な注意を通じて読み書きできるようにします。
• A Simple Neural Network Module for Relational Reasoning: オブジェクトのペアについて推論するための Relation Network を紹介します。
• Relational Recurrent Neural Networks: 再帰ネットワークに自己注意ベースのメモリを加え、時間的関係推論を改善します。
• Neural Message Passing for Quantum Chemistry: メッセージパッシングフレームワークの下でグラフニューラルネットワークを統一し、分子特性を予測します。

スケーリング法則と学習効率

モデルが巨大化するにつれ、性能を支配する経験的法則とハードウェア上での学習効率に焦点が移ります。

• Scaling Laws for Neural Language Models: 言語モデルの損失がモデルサイズ、データ量、計算量に対して滑らかなべき乗則で減少することを示し、LLM のスケーリングの経験的基盤を提供します。
• GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism: 巨大モデルをデバイス間で分割し、非常に大規模なネットワークの学習を実用的にするライブラリです。

情報理論と複雑性

このセクションは特定のアーキテクチャを超えて、知能の理論的基盤に踏み込み、学習と圧縮、データの最短記述との関係を探ります。

• Keeping Neural Networks Simple by Minimizing the Description Length of the Weights: 汎化性能を圧縮と結びつけ、重みを少ないビットで記述できるネットワークが優れていると主張する初期の議論。
• A Tutorial Introduction to the Minimum Description Length (MDL) Principle: データをどれだけ圧縮できるかでモデルを選択する指針を提供します。
• Kolmogorov Complexity: 記述長とアルゴリズム的ランダム性の背後にある形式的枠組みで、文字列を生成する最短プログラムを定義します。
• The First Law of Complexodynamics: 閉じた系における複雑性の上昇と下降を考察したブログエッセイ。
• Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton: 複雑性と平衡を探るセルオートマトンモデル。

その他の専門モデル

• Variational Lossy Autoencoder: 変分オートエンコーダと自己回帰デコーダを組み合わせ、潜在コード情報を制御します。
• Machine Super Intelligence: 機械知能の普遍的測度を提案する博士論文。
• Deep Speech 2: 接続主義的時間的分類（CTC）を用いたエンドツーエンド音声認識システム。
• Recurrent Neural Network Regularization: LSTM に対するドロップアウトの正しい適用方法を解説し、過学習を防ぎます。

コミュニティの洞察と視点

リストの出所は噂にすぎませんが、コミュニティはその有用性と教育的価値に関していくつかの重要なポイントを指摘しています。

"Many of them are widely recognized for being good pedagogical resources... and others are landmark papers which anyone interested in the field would benefit from reading."

コミュニティが共有した顕著な理論的視点の一つは、知能と圧縮の関係です。ある貢献者が指摘したように、Ilya Sutskever はニューラルネットワークが汎化できる理由は、訓練データの単純な記述を実質的に見つけており、コルモゴロフ複雑性の限界に収束していると主張しています。

初心者向けには、研究論文の読解がフォーマットに不慣れな人にとっては難しいことから、まず Welch Labs Illustrated Guide To AI を補足教材として読むことが推奨されています。