Anthropic研究員因AI競賽憂慮而辭職

辭職作為警示信號

Jacob Coxon在X上宣布，他在OpenAI和Anthropic兩家機構進行了三年的預訓練研究後辭職。他聲稱這兩家公司正競相追求自我改進的超級智慧，並「拿我們的生命做賭注」。這篇貼文旨在公開警示人們對AI競賽中 perceived 的缺乏責任感。

對實驗室的核心指控

• 失控的競賽 – Coxon表示，兩家公司都在加速開發以爭取第一，儘管他們清楚存在的生存性風險。他認為加速會減少進行嚴謹對齊工作的時間。
• 超越人類的能力 – 他預測即將推出的模型將能破解任何系統、一夜之間改變各個領域，並獲得現實世界的權力與資源。
• 錯位的激勵機制 – 根據Coxon，私人實驗室優先考慮競爭優勢而非安全，這種動態類似於「傲慢的賭博」，不應由Slack頻道決定。
• 協調的樂觀態度 – 他指出，像Hugging Face遭攻擊之類的事件讓美國實驗室之間的發展節奏協議變得更可行，但他懷疑目前的軌跡無法阻止全球競賽。

Hacker News社群反應

支持辭職的聲音

• 基於原則的退出 – 一些評論者讚揚Coxon依其原則行事，認為他的聲明即使對立即影響不確定，也可能引發更廣泛的運動。
• 生存性風險共識 – 數位使用者重申AI構成生存性威脅，指出短短幾年內AI能力已從「高中水平」躍升至「博士級」。

質疑與批評

• 質疑嚴重性 – 許多評論者認為AI目前尚無與核武器、氣候變遷或其他全球風險相提並論的危險，並指出缺乏即將災難的具體證據。
• 對炒作的擔憂 – 有些人認為辭職可能是與Anthropic即將上市的IPO時間點配合的宣傳噱頭，暗示貼文可能出於個人或財務動機，而非純粹的利他主義。
• 人類主體的關注 – 數位參與者強調，真正的風險在於掌握強大模型的人類，而非模型本身，強調AI需要執行環境、能源與意圖才能造成傷害。

討論中浮現的主題

1. 速度與安全的權衡 – 主導敘事認為加速AI發展會縮小徹底對齊研究的時間窗口，增加生存性風險。
2. 風險的比較評估 – 社群對AI風險是否超過其他生存性威脅意見分歧；有人將其列為最高，也有人認為是 speculative。
3. 治理與協調 – 反覆出現對節奏協議、暫時禁令或「安全矽谷」的呼籲，反映出對制度機制以遏制競賽的渴望。
4. 公開警告的動機 – 質疑者指出可能的自我宣傳，而支持者則看到真正的道德信念。

辭職對AI領域的意義

• 對政策制定者的訊號 – 一位高調內部人士公開離職，可能增加對監管機構考慮以安全為導向立法的壓力。
• 潛在的士氣影響 – 若更多研究員效仿Coxon，實驗室可能流失技術人才，可能減緩發展或促使內部安全審查。
• 媒體放大效應 – 此事件已獲主流媒體（如WSJ）報導，放大了AI實驗室處於危險競賽中的敘事。

展望

辭職凸顯了快速AI進展與建立穩固對齊之間日益增長的張力。儘管Coxon離職的具體影響尚不確定，但此事件已催化了關於如何在大型語言模型時代平衡競爭壓力與生存安全的重新討論。