AI 2040: 超知能による破滅を回避するための Plan A

コアとなる提案：超知能への検証可能な減速

Plan A は、超知能の開発を 2040 年まで遅らせることで、AI による存亡の危機を回避するための政策提言です。 この戦略は、現在の AI 主導権をめぐる秘密主義的な競争を、完全な研究の透明性と「相互確実な計算資源の破壊」という体制に置き換えるための、主に米国と中国の間での国際的な合意を提唱しています。

すべての AI 研究を公開し、複数のグローバル企業が共に、ゆっくりと、かつ安全にスケールアップできるようにすることで、Plan A は主に 2 つのリスクを防止することを目指しています：超知能システムに対する人間の制御の喪失（misalignment）と、少数の個人や団体による前例のない権力の集中です。

Plan A の提案されるタイムライン

政策提言の有効性をテストするために、著者は Plan A が成功裏に実施された場合の具体的なシナリオを概説しています：

• 2029年: 米国と中国は、超知能への無謀な競争を避けることで合意する。
• 2030年: 世界は、著者が「年末までに超知能に至る」と予測した、完全に自動化された AI R&D の「デフォルト」の経路を回避する。
• 2030年–2035年: AI の能力は人間の範囲内にスケールし、トップクラスの人間エキスパートのレベルに達する。
• 2035年: 人間の制御を維持するために、トップクラスの人間エキスパートのレベルで戦略的な一時停止が実施される。
• 2040年: 一時停止が解除され、超知能へのスケールアップが始まる。

主要な政策介入

Plan A は、減速を検証可能かつ効果的なものにするために、いくつかの重要な介入に依存しています：

完全な研究の透明性

AI 企業は、内部的な展開と外部的な展開の間のギャップを制限することが求められます。これにより、「隠密」な再帰的自己改善のリスクを防ぎます。要件には、モデルの仕様（目標と価値観）、内部の使用統計、および内部的な AI オーケストレーションに関する定性的な印象の公開報告が含まれます。

計算資源（Compute）のガバナンスと検証

フロンティア AI のトレーニングには膨大な量のハードウェアが必要となるため、計算資源（compute）は執行のための主要なレバーとなります。Plan A は以下を提案しています：

• サプライチェーンの追跡: チップ製造工場（fabs）およびデータセンターの所有者が、主要な売買を公開宣言することを義務付ける。
• 検証 R&D: 公衆が既存のモデルを使用しながら、新しいフロンティア・トレーニング・ランが実行されていないことを検証できる「推論のみ」の検証ソリューションを開発する。
• 輸出管理の執行: 密輸されたチップが隠密なプロジェクトを可能にしないよう、既存の輸出管理の執行を強化する。

政府の能力構築

著者は、米国政府が現在、これらの政策を監督するために必要なトップレベルの AI 専門知識を欠いていると主張しており、国家にとって高品質な AI 専門知識の獲得は急務の優先事項となっています。

代替シナリオと「競争」のリスク

著者は Plan A と他の潜在的な経路を対比させています。最も顕著なのは Plan D (Race to ASI) です。Plan D では、企業は地政学的なライバルに打ち勝つために、可能な限り速く超知能に到達するために AI R&D を自動化します。

"We think Plan D is atrocious... we don’t expect the AI companies to retain control over their AIs through the intelligence explosion, if they race approximately as fast as they can... [and] the risk of World War III is too high."

批判的分析と反論

AI 2040 提案に関するコミュニティの議論では、いくつかの技術的および経済的な懐疑論が強調されています：

• 「不可避性」の仮定: 批判的な立場からは、本提案は LLM が必然的に ASI に至ると仮定しており、現在のアーキテクチャがプラトー（指数関数的ではなく「シグモイド」曲線）に達する可能性、あるいはトークン予測を超えた真の知能が欠欠けている可能性を無視していると主張されています。
• 経済的実現可能性: 一部の観察者は、投影された GPU 構築コスト（数兆ドルに達する）が主要国の GDP を超えることを指摘し、どこからそのような拡大のための資本がどこから来るのかを疑問視しています。 | 執行の課題: 懐疑論者は、中国との合意意図の妥当性を疑問視しており、一権党制国家におけるコンプライアンスの検証の難しさや、研究が停止するのではなく地下に潜る傾向があることを挙げています。
• 労働市場の推測測: 一部の批判者は、このシナリオの予測（最大 74% の失業率） Mass Unemployment と Mass Robot Deployment 2035 年までの物理的なロボット展開の速度が、極めて推測的であり、経済的現実と乖離していると考えています。