Richard SuttonによるAIの創造性と発見について

生成AIにおける教師あり学習の限界

教師あり学習を通じて訓練された生成AIは、根本的に新しい発見を行うことができません。なぜなら、それは新しい、検証済みの知識を創造するのではなく、既存のデータを模倣するように設計されているからです。これらのシステムは、「良い」（高品質な訓練データに基づく）出力、または「斬新な」（確率的なランダム性に基づく）出力のいずれかを生成することはできますが、その両方を同時に実現することはできません。

実用的な観点では、ユーザーが事実に基づいた要約を求めた場合、斬新さは「ハルシネーション（幻覚）」と見なされます。逆に、ユーザーがフィクションを求めた場合、斬新さはランダム性の結果ですが、模倣したパターンを超えて、その斬新さが「良い」ものか、あるいは論理的に健全であるかを保証する内部メカニズムが存在しません。その結果、教師あり学習は模倣のためのツールとして機能します。これは効率性とカスタマイズにおいては革新的ですが、科学的または数学的な発見には不十分です。

発見のための3ステップ・フレームワーク

真の創造性と発見には、パターン認識と予測を超えたプロセスが必要です。Richard Suttonが「発見（Discovery）」と定義するこのプロセスは、以下の3つの不可欠なステップで構成されています。

Variation（変異）: さまざまな潜在的な軌跡やアイデアを生成すること。これは、既存の知識に一部基づくこともあれば、真の発見が起こるために必要な不確実性として、一部は「盲目的」（ランダム）であることもあります。
Evaluation（評価）: 生成された変異を明確な目的や目標に対してテストし、その価値を決定すること。
Selective Retention（選択的保持）: 成功した変異を保持し、失敗したものを破棄すること。

このフレームワークは、自然選択による進化、科学的手法、および強化学習（RL）を反映しています。Suttonは、生成AIは（確率的なサンプリングを通じて）「Variation」のステップは持っているものの、実行時に「Evaluation」のステップが欠けているため、自身の斬新な出力を自ら認識することができないと指摘しています。

真の発見が可能なAIシステム

標準的な生成AIとは異なり、特定のAIシステムは、斬新さと「良さ」の両方を達成することを可能にする統合された評価メカニズムを備えています。

AlphaGo and AlphaZero: これらのシステムは、内部評価を用いて、人間の能力を超えた独創的な手やスタイルを見つけ出しました。
AlphaFold and AlphaProof: これらは、出力を客観的な真実に対して評価することで、科学と数学における真の進歩をもたらしました。
Claude-Code: 同様の反復プロセスを通じて、プログラミングにおける真の進歩をもたらしたシステムとして挙げられています。
GT-Sophy: シミュレートされたレースカーにおいて、人間と比較して優れた運転能力を示したシステムです。

Suttonは、AIが完全に自律的な「AI科学者」になるためには、明示的な目標が与えられ、自律的に創造、評価、そして発見を行うことができなければならないと主張しています。

技術的実装と継続的バックプロパゲーション

Suttonはディープラーニングにおけるバックプロパゲーションの役割について言及し、重みの更新は決定論的であるものの、初期のランダムな重みが不可欠な変異を提供すると述べています。しかし、この変異は初期化の時にしか発生しないため、ネットワークは時間の経過とともに可塑性を失う可能性があります。

これを解決するために、Suttonの研究グループは「continual backpropagation」を導入しました。これは、使用頻度の低いニューロンを定期的に小さなランダムな重みで再初期化するアルゴリズムです。これにより、学習プロセス全体を通じて変異が継続し、ネットワークが新しいパターンを発見する能力を維持できるようになります。

コミュニティの視点と反論

技術的な専門家たちの間での議論は、Suttonの主張に対していくつかのニュアンスを浮き彫りにしています。

The Agentic Harness: 一部の専門家は、「発見のループ」はモデル自体の中ではなく、「agentic harnesses（エージェント的ハーネス）」を通じて既に実装されていると主張しています。このセットアップでは、LLMを生成器として使用し、評価はコンパイラ、ターミナル、または人間のフィードバックといった外部ツールによって行われます。
Compositional Generalization: 一部の寄稿者は、LLMが「compositional generalization（構成的汎化）」、つまり既存の抽象概念やスタイルを組み合わせ、訓練データには現れなかった方法で再結合させることで、意味のある斬新さを生み出す能力があることを示唆しています。
The Definition of Creativity: 数学的発見が芸術と同じように「創造的」であるかどうかについては、議論があります。数学において、答えは既に存在しており、AIは単に人間よりも効率的に広大な可能性の空間を探索しているだけだという主張もあります。
Evaluation Source: 論争の的となっている点は、AlphaGoのようなシステムは、人間によって「ハードな評価（rules of the game）」が与えられていたことです。これは、発見がAIの知能の固有の性質ではなく、外部の客観的な目標の存在による結果であることを示唆しています。