Anthropic 的 LLM 與生化風險:評估人工智慧驅動的生物威脅

精要

Anthropic 已在發布 Claude Opus 4 時啟用人工智慧安全等級 3(ASL‑3)防護機制,防止該模型協助設計化學、生物、放射或核武器,並發布了一份全面分析,探討大型語言模型(LLMs)如何放大生物風險,以及可採取哪些措施加以緩解。


為何 ASL‑3 防護機制至關重要

Anthropic 在發布 Claude Opus 4 時啟用 ASL‑3 保護,是因為性能提升使得無法再排除該模型可能協助具備基本科學、科技背景的人士開發 CBRN 武器。這些防護機制專注於阻擋尋求生物武器化之指示、設計或詳細知識的查詢。

"...在評估中提升模型表現,意味著我們已無法再有信心地排除我們最先進模型在有人試圖開發此類武器時,可能提升具備基本 STEM 背景者的能力。基於對潛在後果的評估,我們評估與相應安全措施的主要初期重點,放在生物武器上。" – Anthropic, LLMs and biorisk

LLM 如何與生物武器交集

人工智慧作為現代資訊傳遞管道

歷史上,恐怖組織已從印刷手冊轉向在網絡上搜尋武器製造指南。Anthropic 認為,人工智慧將成為下一步:一個能過濾矛盾的網際網路內容、提供即時指導並生成可執行協定的對話式助理。

生物學的獨特風險

  • 高影響力結果 – 一次成功的病毒攻擊可全球傳播,與大多數傳統武器不同。
  • 降低物質門檻 – 核酸合成、標準化試劑套件以及廉價 PCR 機器的成本已大幅下降,減少了對專業供應鏈的需求。人工智慧進一步削弱了剩餘的資訊門檻。

模型知識與專家專長的差異

LLMs 接受廣泛語料庫的訓練,包括科學論文、教科書與線上討論,使其擁有廣泛的生物學知識基礎。Anthropic 內部評估顯示,Claude 在專業基準測試上的表現已接近或超越專家人類基準。

病毒學故障排除基準(VCT)

一年內,Claude 在 SecureBio 設計的病毒學故障排除(VCT)評估中,從表現低於世界級專家,躍升至穩穩超越他們。

Claude VCT 表現

圖 1. Claude 在 VCT 上的表現,顯示其迅速達到專家級分數。

此趨勢也出現在多個分子生物學基準上,顯示 LLM 可以獲得與專家相媲美的廣度與深度。

實際提升的證據

Anthropic 進行了受控試驗,讓參與者在兩天內擬定生物武器取得計畫。

  • 對照組: 僅能使用標準網際網路資源。
  • 實驗組: 相同資源 加上 Claude 4(研究期間暫時移除防護機制)。

由生物防衛專家評分的結果顯示,Claude 協助的參與者整體分數更高,且關鍵失敗次數更少。

提升試驗原始分數 提升試驗關鍵失敗次數

圖 2.(上)提升試驗的原始分數;(下)關鍵失敗次數。使用 Claude 的組別表現顯著更佳。

Anthropic 指出,儘管基於文字的提升試驗無法完全模擬真實實驗室工作,但已顯示非專家透過此途徑獲得優質指導的可行性路徑。

實驗室層級的實驗

2024 年一項小型實驗室試點(n = 8)比較了使用 Claude 與僅使用網際網路資源的參與者在基本生物學實驗流程上的表現。未觀察到統計上顯著的提升,但兩組表現均出人意料地良好,暗示隱性實驗室知識可能並非如預期般構成主要瓶頸。

Anthropic 現正與 Frontier Model Forum 和 Sentinel Bio 共同資助一項更大規模的實驗室研究,以系統性評估:

  1. 非專家在真實實驗室任務中的基線表現。
  2. 提供人工智慧協助後的逐步提升。

擴展試驗將釐清隱性知識的角色與人工智慧驅動風險的規模。

缓解策略

資訊共享與公私合作

Anthropic 強調持續與生物防衛專家、美國人工智慧標準與創新中心(CAISI)以及英國人工智慧安全研究所進行諮商。其倡議透明的責任型擴張政策,並公開危險能力評估。

自動化部署防護機制

  • 憲法分類器 即時監控輸入/輸出,並阻擋一類特定有害資訊。
  • ASL‑3 保護 目前僅應用於 Claude Opus 4 系列,作為預防性措施(詳見詳細的 ASL‑3 報告)。
  • 安全保障團隊持續監控平台活動中的濫用模式,並可執行修正措施。

國家政策協調

Anthropic 歡迎美國人工智慧行動計畫對生物安全的關注,包括加強核酸合成篩檢與由 CAISI 主導的安全評估。政府與產業的協調努力被視為建立抵禦人工智慧驅動生物風險韌性的關鍵。


相關 Anthropic 研究

  • 新興多代理系統 – 可能導致系統性失敗的行為傾向。閱讀更多
  • 工人再培訓計畫 – 與 David Roodman 共同撰寫的證據回顧。閱讀更多
  • Claude 的數學能力 – 在黎曼假設下界上的進展。閱讀更多

Sources

相關

  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch