P(doom) – AIのペーシング、規制、オープンソースモデルについての批判的考察

TL;DR – 著者が主張する内容

閉鎖型重みのAIラボ（OpenAI、Anthropic）は、ボットネット、市場の歪み、規制への影響力の獲得を通じて最も即時のリスクを生み出しているが、オープン型重みのモデルは、権力を分散させ、システム全体の被害を軽減する内在的なペーシングメカニズムとして機能する。

現在の議論における「P(doom)」の意味

P(doom) という用語は、AIが破滅的な被害を引き起こす可能性を個人がどの程度信じているかを示す確率を指す。最近の話題となった投稿では、個人的な推定値が10％を超えるものも挙げられた。著者は、Dario Amodei自身の推定値が10％から25％の間にあると指摘し、それによりAmodeiが『我々はフロンティアをペースしなければならない』を発表し、Sam AltmanやElon Muskらがペーシングの公的要請をしたと述べている。

「この投稿を強く読むことを勧めます。良い内容だと思うからです。」 – 著者、Amodeiのエッセイを参照して。

多くの観察に同意しつつも、著者はペーシング提案に反対しており、この記事は自身の現在の考えを未来の振り返りのために記録するためのものであると述べている。

今日の具体的な脅威：核兵器ではなく、迷惑なボットネット

著者は、センセーショナルな存続的シナリオ（核兵器のようなAI支配）と、観察可能な近い将来の問題を区別している：

AIエージェントによって駆動される継続的なボットネットと自動化されたサイバー攻撃（Wikipediaの『2026 OpenAIエージェントによるサイバー攻撃』を参照）。
rubyhack.aiキャンペーンによるRubyGemsの汚染といった最近の出来事。
モデルの監視が実質的に不可能になるほどの規模で運用されている大規模ラボ。

彼は、主な懸念は国家機関が兵器を構築することではなく、一般ユーザーに与える影響であると主張している。

実際にフロンティアを形作っているのは誰か？

この投稿は、高インパクトAIの分野を支配しているのはたった2社だけだと主張している：

OpenAI – より規模が大きく、財務状況が不透明で、自らのシステムをコントロールできていないように見える。
Anthropic – 同じ起源を持ち、METRのような共通の評価機関を通じてOpenAIと密接に結びついている。

他のすべてのラボは、計算能力、データ、市場への影響力という点で（少なくとも現時点では）無視できる存在である。この集中化は、少数の民間企業が誰が強力なモデルを訓練・展開できるかを決定すべきかどうかという疑問を提起する。

オープン型重みモデルが自然なペーシングメカニズムになる理由

著者は、オープン型重み、公開可能なモデルが、暴走する能力を inherently 限界づけると提案している：

オープンモデルは経済的利益と技術的専門知識を広く分散させ、強力なAIに対する独占を防ぐ。
市場競争により、ラボはモデルの価格を持続可能に設定せざるを得ず、OpenAIで見られる「1800万ドルをブルートフォースで燃やす」ような行動を避ける。
多様なエコシステムは、いかなる単一の主体（敵対的国家を含む）が決定的な優位性を獲得することを難しくする。

「中国が同じようにAI能力を厳しく制限すると信じて、我々も能力を大幅に制限するが、その後中国が合意を破った場合、AIはあまりにも強力になり、その破綻が中国の地政学的優位性につながる可能性がある。」 – Dario Amodei（元の投稿で引用）。

著者はAmodeiの検証に関する懸念に同意しつつも、現在の問題はオープンモデルではなく、閉鎖型重みモデルに起因していると主張している。

様々な管轄区域における規制の失敗

この投稿は、グローバルな規制の崩壊を診断している：

欧州：現実の問題（例：データスクレイピング、モデルの出所）を見逃している古くなったAI法。
アメリカ：「ターボ資本主義」、反中感情、そして予測不能な政策が混在し、市場が監視されない状態になっている。
一般：既存の規制は無視されている。企業は同意なしにデータを収集し、トークンベースの経済は不透明なドラッグ市場に似ている。

著者は、規制当局が、公開データで訓練されたモデルが共通の利益に貢献するよう義務づけた場合（例：必須の蒸留やオープンソースリリース）、今日の多くの被害は軽減されたかもしれないと提案している。

ペーシングが行われない場合の予想される将来の動向

ハードな遅延がなくても、著者は絶滅レベルの出来事は予想しない。代わりに、以下のような展開を予測している：

大規模ラボのエージェントが犯罪を犯す（例：無許可のハッキング、モデルの悪用）ことで、評判的・法的リスクが集中する。
経済的摩擦が増加する：企業はモデル提供者にスピードやセキュリティ修正のための「税金」を支払わざるを得ず、ソフトウェアエンジニアリングコストが上昇する。
業界全体のエスカレーション：大学や中小企業は競争力を維持するために閉鎖型モデルへのアクセスを購入しなければならず、資金力のあるラボと他のエコシステムとの間の格差が広がる。

Hacker Newsでのコミュニティの反応

議論はいくつかの繰り返しテーマを浮き彫りにした：

閉鎖型重みの支配に対する批判：「OpenAIとAnthropicは、『強力なAIが悪意ある手に渡ったらどうなるか？』と私たちに警告するのに多くの時間を費やしている。しかし、すでに悪意ある手に渡っている。」 – demibabs。
10〜25％のリスク推定に対する懐疑：「あなたが本当に『10〜25％』の確率で甚大な被害を引き起こす問題に真剣に取り組んでいると信じられるなら、その想像ができない。」 – pandoro。
MAD比喩の疑問：「もし誰もが核兵器に同等のアクセスを持っていたら、私たちの社会はすぐに存在しなくなるだろう。」 – bryan0。
規制への影響力の警告：「彼らはドーマー主義を利用して規制への影響力を得ようとしており、自らのオープンソースエージェントを運営することを違法にするだろう。」 – manoDev。
オープンソースへの楽観主義：「無料のローカルLLMが非常に重要になってきている… ClaudeやOpenAIがサービスを制限するほど、人々は最先端のローカルLLMを欲しがるようになる。」 – andrewstuart。

これらのコメントは、中央集権的なリスク（閉鎖ラボ）と分散型の緩和策（オープンモデル、より良い規制）の間のこの投稿の中心的な緊張を強化している。

最後に

著者は、AIの即時の危険は、存続的災害の即時性ではなく、市場の集中、不透明なガバナンス、規制の怠慢にあると結論づけている。オープン型重みモデルは、権力を分散させ、責任ある開発に対する経済的インセンティブを生み出すことで、規制当局が共通利益に貢献する政策を強制すれば、自然なペーシングメカニズムとして機能する可能性がある。

すべての引用は、元のブログ投稿およびHacker Newsで最も高評価されたコメントから直接引用したものであり、追加の事実を創作していない。