P(doom) – 對AI發展速度、監管與開源模型的批判性觀察

TL;DR – 作者的主要主張

封閉權重的AI實驗室（如 OpenAI、Anthropic）因機器人網路、市場扭曲與監管俘虜，造成最直接的風險；而開源權重模型則能作為內建的發展速度控制機制，分散權力並降低系統性危害。

當前討論中「P(doom)」的含義

P(doom) 一詞代表個人對AI可能造成災難性傷害的機率評估。近期爆紅的貼文引用了個人估計超過 10 %。作者指出，Dario Amodei 自己的估計似乎介於 10 % 至 25 % 之間，這促使 Amodei 發表了《我們必須控制前線發展速度》一文，並引發了 Sam Altman 與 Elon Musk 的公開呼籲，要求放慢AI發展。

「我強烈建議你閱讀這篇文章，因為我認為它寫得很好。」 – 作者，引用 Amodei 的文章。

儘管同意許多觀察，作者仍對「發展速度控制」的提案持反對立場，因此撰寫本文以記錄當下的想法，供未來反思。

當前具體威脅：擾亂型機器人網路，而非核武

作者區分了誇張的存亡情境（如核武級AI接管）與可觀察、近期可見的問題：

由AI代理驅動的持續性機器人網路與自動化網路攻擊（參見維基百科的 2026 OpenAI代理網路攻擊）。
最近事件如透過 rubyhack.ai 行動污染 RubyGems。
大型實驗室規模過大，導致對其模型進行全面監控幾乎不可能。

他主張，主要關注點應是對一般使用者的影響，而非國家行為者研發武器。

究竟誰在塑造前線？

本文指出，僅有兩家公司主導高影響力的AI領域：

OpenAI – 規模更大，財務更不透明，且似乎較難控制自身系統。
Anthropic – 起源相似，透過共享評估機構（如 METR）與 OpenAI 密切連結。

其他實驗室在運算資源、資料與市場影響力方面皆屬邊緣（至少目前如此）。這種集中化引發疑問：是否應由少數私人企業決定誰能訓練與部署強大模型？

為何開源權重模型可能成為自然的發展速度控制機制

作者提出，公開權重、公開可用的模型本質上能限制失控能力：

開源模型能分散經濟利益與技術專長，防止強大AI的壟斷。
市場競爭將迫使實驗室以可持續方式定價模型，避免 OpenAI 目前「耗資 1800 萬美元進行暴力計算」的行為。
多元化的生態系將使任何單一行為者（包括敵對國家）難以取得決定性優勢。

「如果我們大幅限制自身AI能力，是基於相信中國也會這麼做，但中國一旦違約，AI可能強大到足以導致其地緣政治主導地位。」 – Dario Amodei（引述於原始文章）。

作者同意 Amodei 對驗證的擔憂，但認為當前問題源自封閉權重模型，而非開源模型。

各司法管轄區的監管失敗

本文診斷出全球監管體系的崩潰：

歐洲：過時的AI法規未能觸及真正問題（例如資料爬取、模型來源）。
美國：混合了「加速資本主義」、反華情緒與反覆無常的政策，導致市場毫無約束。
普遍情況：現有法規被忽略；企業在未經同意的情況下竊取資料，而以代幣為基礎的經濟模式類似於不透明的毒品市場。

作者建議，若監管機構要求使用公開資料訓練的模型回饋公共利益（例如強制知識蒸餾或開源釋出），許多當今的傷害將可被緩解。

若不實施速度控制，預期的未來動態

即使沒有硬性減速，作者不預期會發生滅絕級事件。相反，他預測：

聲譽與法律風險將落在大型實驗室身上，因其代理犯下罪行（例如未經授權的駭客攻擊、模型濫用）。
經濟摩擦將增加：軟體工程成本將上升，企業需向模型提供者支付「稅金」以取得速度與安全修復。
產業全面升級：大學與小型公司將需購買封閉模型的存取權以保持競爭力，進一步拉大資金雄厚實驗室與生態系統其他部分的差距。

Hacker News 上的社群反應

討論中凸顯了幾個反覆出現的主題：

批判封閉權重的主導地位：「OpenAI 與 Anthropic 花費大量時間警告我們『如果強大AI落入錯誤之手會怎樣？』但問題早已發生。」 – demibabs。
質疑 10–25 % 風險估計：「我無法想像，你如何能全心投入一個你真心相信有『10 到 25%』機率造成巨大傷害的問題。」 – pandoro。
挑戰相互確保毀滅（MAD）類比：「如果每個人都能平等取得核武器，我們社會將迅速瓦解。」 – bryan0。
監管俘虜警告：「他們會利用末日論來進行監管俘虜，並使運行自己的開源代理變成非法。」 – manoDev。
開源樂觀主義：「免費的本地 LLM 正變得極其重要……Claude 與 OpenAI 越限制服務，越多人渴望先進的本地 LLM。」 – andrewstuart。

這些評論強化了本文的核心張力：集中化風險（封閉實驗室）與去中心化緩解（開源模型、更好監管）之間的對立。

結論

作者總結認為，AI 的立即危險在於市場集中、治理不透明與監管忽視，而非即將到來的存亡危機。開源權重模型若能分散權力並創造責任發展的經濟誘因，可作為自然的發展速度控制機制——前提是監管機構能強制執行回饋公共利益的政策。

所有引述均直接取自原始部落格文章與 Hacker News 上得分最高的評論；未添加任何虛構事實。