AutoGrad とベイジアン・ブレイン：ジェフ・ベック博士が語る AI の未来
AutoGrad とベイジアン・ブレイン：ジェフ・ベック博士が語る AI の未来
中核的主張：知能は関数近似ではない
真の人工知能は、単にトランスフォーマーを拡大したり関数近似を改善したりするだけでは実現できません。知能は人間の認知と同じ領域、すなわち物理的でマクロな世界に根ざす必要があります。ジェフ・ベック博士は、巨大で単一のニューラルネットワークから「多数の小さなモデル」への転換を提案します――モジュール化されたオブジェクト中心のベイジアン・モデルが、発見された力を通じて相互作用し、生物学的脳が現実を処理する方式を模倣します。
AutoGrad とトランスフォーマー：実際に AI を変えたもの
業界は現在の AI ブームをトランスフォーマー・アーキテクチャの功績としていますが、ベック博士は真の触媒は 自動微分 (AutoGrad) だったと主張します。
AutoGrad は AI 開発を理論的な数学問題から工学的問題へと変換しました。勾配計算を自動化することで、研究者は学習則を手作業で導出することなく、さまざまなアーキテクチャ、非線形性、メモリ構造を迅速に実験できるようになったのです。この工学的シフトがモデルのハイパースケーリングを可能にし、結果としてトランスフォーマーの成功が見かけ上のものとなりました。ベック博士は、Mamba（状態空間モデル）など他のアーキテクチャもスケールすれば同様の機能を発揮できると指摘し、スケーリング自体—AutoGrad によって可能になった—が特定のトランスフォーマー構造よりも重要であると示唆しています。
ベイジアン・ブレインとアクティブ・インファレンス
ベック博士は、人間の脳はベイジアン推論エンジンとして機能し、常に世界に対する仮説をテストしていると考えます。これは「最適手がかり統合」の行動実験で裏付けられます。人間は信頼できる感覚情報と信頼性の低い感覚情報（例：視覚と聴覚）を驚くほど効率的に組み合わせます。
ベイジアンアプローチの主要原則:
- 仮説検証: 脳は特定の仮説に条件付けされた世界の生成モデルを使用します。
- 情報フィルタリング: 膨大な脳活動は、情報過負荷を防ぐために何を無視すべきかを決定することに費やされています。
- アクティブ・インファレンス: カール・フリストンの研究に基づき、この枠組みは情報理論と統計物理学を結びつけ、エージェントが驚き（サプライズ）を最小化して存在を維持する方法を説明します。
グラウンディング問題：言語より物理
現在の大規模言語モデル（LLM）の根本的な欠陥は、言語 に根ざしていることです。ベック博士は、言語は思考のモデルとして不適切だと主張します。心理学における自己報告データは信頼性が低く、人々は実際の意思決定プロセスと矛盾する形で自分の行動を説明しがちです。
人間のように考える AI を構築するには、マクロな物理 に基づくグラウンディングが必要です。つまり、AI はピクセルやトークンとして世界を認識するのではなく、特定の関係性とアフォーダンスを持つオブジェクトとして認識すべきです。知能は具現化されなければならず、物理的環境が「思考の原子要素」—より高度な概念モデルを構築する基本ブロック—を提供します。
「多数の小さなモデル」アーキテクチャ
単一の巨大ニューラルネットワークの代わりに、ベック博士はビデオゲームエンジンのようなシステムを想像します。この構造では、AI は何千もの小さなモジュール化モデルのライブラリを保持し、各モデルは特定のオブジェクトまたはオブジェクトクラス（例："本モデル"）を表します。
モジュラーオブジェクトモデルの利点:
- 計算効率: エージェントは現在の環境に関連するごく一部のモデルだけをインスタンス化し、スパース性を保ちます。
- システム工学: オブジェクトとその相互作用力を理解することで、AI は「システム工学」を実行でき、既知のオブジェクトを新しい組み合わせで組み立てて新製品を創出します（例：翼型とジェットエンジンを組み合わせて飛行機を作る）。
- 汎化: あるドメイン（例：家の内部）で学習したモデルは、オブジェクト自体がモジュラーであるため、別のドメイン（例：公園）へも移植可能です。
汎化の解決策：倉庫の中の猫
ベック博士は、現在の AI の失敗例として「倉庫の中の猫」問題を挙げます。箱とフォークリフトだけで訓練された倉庫ロボットは、猫に遭遇したときに衝突したり幻覚を見たりします。
ベイジアンでオブジェクト中心のシステムでは、以下のプロセスが行われます:
- サプライズ検出: 猫が既存のモデルに合致しないため、ロボットは高いサプライズ信号を検出します。
- 知識取得: ロボットは「友達に電話」し（中央サーバーに問い合わせ）、視覚データに合致しそうなオブジェクトモデルをダウンロードします。
- 仮説検証: ロボットは複数の候補モデル（例：異なる猫種）をテストし、猫の行動を観察して正しいモデルを特定します。
- 統合: 猫モデルはロボットのローカルライブラリに組み込まれ、将来の利用に備えます。
信念交換によるアラインメント
ベック博士は、従来の強化学習（RL）によるアラインメント—報酬関数を用いる手法—は根本的に欠陥があると指摘します。報酬値はしばしば任意であり、退化した行動（「悪意あるジーニー」問題）を引き起こす可能性があります。
彼は 信念交換 に基づくアラインメント戦略を提案します。人間の行動は信念と価値の組み合わせであるため、アラインメントは信念の明示的な交換を含むべきです。内部モデルを相互に伝達・調整することで、対立が事実上の誤解（信念）に起因するものか、価値観（報酬関数）の違いに起因するものかを区別でき、より透明で安定したアラインメントが実現します。
要約: ジェフ・ベック博士は、真の知能は関数近似や LLM から脱却し、言語ではなくマクロな物理に根ざしたオブジェクト中心のベイジアン・モデルへと移行すべきだと主張します。
タイトル: AutoGrad とベイジアン・ブレイン：ジェフ・ベック博士が語る AI の未来