知能爆発に対する人類の備え

「知能爆発」——人間の能力を超える超知能の出現——の可能性は、世界の安定に対するシステム的なリスクをもたらします。そのような事象の技術的な可能性については議論が分かれていますが、差し迫った危険は、労働力の経済的な置換、民主主義制度の浸食、そして米国と中国の間の地政学的な対立の激化にあります。

経済的置換と社会的階層化

AIの労働力への急速な統合は、恒久的な経済的下層階級を生み出す恐れがあります。労働削減による利益率向上の追求は、失業した人々が経済を維持するための購買力を欠くことになるため、消費者需要のシステム的な崩壊を招く可能性があります。

私は、暴走するエージェントをそれほど恐れているわけではありません。それよりも、労働の価値を下げた人々が施す慈悲の断片に依存せざるを得ない、恒久的な下層階級を私たちが作り上げてしまうことを恐れています。私は、この下層階級を統制するために構築されるであろうセキュリティ装置を恐れています。

この経済的変化は、単なる失業の問題ではなく、革命を引き起こす可能性のある潜在的な「底辺への競争」です。特に、世論が中央指導部に向けられやすい分極化した民主主義国家や非民主主義国家において顕著となるでしょう。

超知能のリスクを管理するには、かつてない国際的な協力が必要ですが、現在の地政学的な傾向は、そのような団結は起こりにくいことを示唆しています。米国と中国の間のAI覇権をめぐる競争は、安全性と管理に関する外交的合意を事実上不可能にしています。

国際的な失敗に関する主な懸念事項は以下の通りです：

サイバー戦争とインフラテロリズム: LLMの能力曲線は、既存の緊張を限界点まで押し上げる新しい形態の紛争を可能にするかもしれません。
弱体化した民主主義: AI主導のソーシャルメディア操作は、世論をコントロールしようとする者たちにさらなる力を与え、紛争を生み出す可能性があります。
能力のギャップ: 地政学において、敵対者の能力は、その意図よりもむしろその能力の方が懸念されることが多いです。そして、LLMの能力の急速な進歩は、既存の安全枠組みを追い越しています。

AIが真に「主体性」を獲得できるか、あるいは意識を持つ実体になれるかについては、大きな意見の相違があります。AIはトースターに匹敵する「道具」であり、リスクはAI自体ではなく、それを他者を搾取したり強制したりするために利用する人間にあると主張する人々もいます。

リソースの制約: 批判的な人々は、エネルギーや材料などの重要なリソースが人間の管理下にある限り、超知能は急速には出現しないと主張しています。
モデルの劣化: 「再帰的な自己改善」という概念に疑問を呈する人々もいます。予測エンジンにとって、より可能性が高い結果は「再帰的な自己劣化」であると示唆しています。
ハイプ・サイクル: AI研究所の創設者たちの主張には懐疑的な見方があります。一部では、警鐘を鳴らすことは、技術を技術以上に強力に見せせるためのマーケティング戦略、あるいは自分たちに有利な規制の獲得（規制の虜）を確保するための戦略であると示唆されています。

暴走するAIのリスクに加えて、非対称的な優位性のリスクがあります。十分な資本を持つ一人の個人が、AIコーダーや実行者の「エージェント軍団」を指揮できる能力は、世界の経済と社会において想像を絶する力の不均衡を生み出す可能性があります。