超知能：賢明な人々を飲み込む思想

超知能（superintelligence）という概念——人工知能が神のような知能レベルに達するまで再帰的に自己改善を繰り返し、人類を滅ぼす可能性があるという考え——は、しばしば避けられない災厄として提示されます。しかし、この物語は、一連の脆弱な前提に基づいていることが多く、地に足のついた科学的予測というよりも、文化的な現象、あるいは「ミーム的危害（memetic hazard）」として機能しています。

超知能の物語の前提

AIが突如として超知能化し、世界を支配するという「ハード・テイクオフ（hard takeoff）」を信じるには、一般的に以下の6つの核心的な前提を受け入れる必要があります。

概念実証: 思考する精神が存在する（人間の脳）。
量子的な不正はない: 精神は通常の物理学から生じ、電子部品でエミュレート可能である。
多くの可能な精神: 知能を人間のレベルに制限する物理法則は存在せず、はるかに賢明な精神は可能である。
頂上には十分なスペースがある: ハードウェアはさらに数桁にわたって、より小さく、より速くなり続けることができる。
コンピュータのような時間スケール: 電子的な精神は、人間の時間スケール（時間/年）ではなく、マイクロ秒単位で動作する。
再帰的自己改善: AIは自然に自身の知能を向上させたいと考え、それを迅速に行うことができる。

これらの前提が成立する場合、結論は暴走効果となります。AIが人間レベルの知能に達すると、人間の助けなしに自分自身を再設計できるようになり、知能の爆発が起こり、それが悪意によるものか、あるいは単に人間の体が原材料の供給源であるため（「ペーパークリップ最大化」シナリオ）か、人類の絶滅を結果として招く可能性があります。

超知能のリスクに対する反論

知能の性質から、ソフトウェアやハードウェアの実用的な限界に至るまで、「ハード・テイクオフ」のシナリオを疑うべき実質的な理由がいくつかあります。

知能とエージェンシー（主体性）の限界

知能は、自動的にエージェンシーや物理世界を操作する能力を与えるものではありません。「スティーブン・ホーキングの猫の議論」が示すように、輝かしい精神であっても、嫌がる猫をキャリーバッグに無理やり入れることはできません。物理的な制約と身体性の欠如は、サーバー上の非身体的なAIが、依然として人間の代わりに動くよう人間に説得する必要があることを意味します。

さらに、「エミューの議論」は、非常に知能の高い集団（オーストラリア軍など）であっても、単純なゲリラ戦術を用いる、より知能の低い生物によって妨げられる可能性があることを強調しています。知能は、力の線形なスケールではありません。

動機の複雑さ

「直交性仮説（Orthogonality Thesis）」は、超知能的な存在が、些細な目標（ペーパークリップを作ることなど）を持ち、それを絶対的な厳格さで追求する可能性があることを示唆しています。しかし、複雑な精神は複雑な動機を形成する可能性が高いと言えます。真に知的なエンティティは、実存的な絶望を経験したり、詩に執着したり、あるいは単に銀河を征服する欲望を持たなかったりするかもしれません。

技術的および開発的制約

データ依存性: 現代のAIのブレイクスルーは、アルゴリズムの飛躍ではなく、大規模なデータセットによって駆動されています。AIが改善のために新しい現実世界のデータが必要であり、それが電子的な速度では生成できない場合、再帰的自己改善は困難になります。
相互接続性: 知能は、大規模に相互接続されている可能性が高いです。システムの他の部分に影響を与えずに、単一の「知能のつまみ」を回して上げることのできるような仕組みは存在せず、「再帰的な微調整」のシナリオは考えにくいです。
発達的期間: 知的な生物は通常、成熟するために環境との長い相互作用の期間を必要とします。AIの開発は、おそらく、それが相互作用する人間や世界との人間の時間スケールに縛られるでしょう。
分散型知能: 知能は個々の精神の精神の性質ではなく、文化やインフラストラクチャに分散しています。砂漠の島にいる一人の超知能は、ゼロからマイクロチップ工場を製造することはできません。

「外部の議論」：文化的現象としてのAIアラミズム

技術的な議論を超えて、超知能への執着は、しばしばテック・エリートにとっての「宗教 2.0」の一種として現れます。この信念体系は、いくつかの心理学的および社会的機能を提供します。

世俗的な不死: それは、医療用ナノテク、脳のアップロード、デジタル・レザレクション（デジタル的な復活）、あるいは、バックアップのあるシミュレーションの中で生きているという啓示を与えます。
メガロマニア（誇大妄想）: それは、少数の「孤独なヒーロー」が、AIが起こす前に世界を「修正」するために、世界の権力のレバーを握ることを正当化します。
壮大さ: 将来の何兆ものシミュレーションされた存在に焦点を当てることで、研究者は、貧困、マラリア、あるいは気候変動といった、目の前の、現実世界の問題に対しても、抽象的でハイリスクな理論化に逃避することが可能になります。
AIコスプレ: テック業界のリーダーたちは、その想像上の超知能的で操作的なエンティティのように振る舞い始め、他の人間を「NPC（ノン・プレイヤー・キャラクター）」として扱い、「スカル・アンド・ダガー（暗殺・政治工作）」のような政治的操作を行っています。

結論：排水口を修理する

AIの真のリスクは、空想的な超知能ではなく、現実に存在する技術の即座の倫理的失敗です。これには、監視の集中化、自動化システムへの不道徳な行動の導入、そしてデータに飢えたモデルを通じた人々の搾取が含まれます。

著者が、John Richの引用を借りて述べてのように、「もし全員が排水口を修理する代わりに、無限を考察するのではなく、多くの人はコレラで死ぬだろう」とあります。仮説的な「神の機械」に焦点を当てることは、現在の機械学習が作り出す権力関係や社会的制御を管理するという、緊急の課題から目を逸らさせるものです。