前沿模型論壇更新

前沿模型論壇更新 OpenAI、Anthropic、Google 和 Microsoft 已任命 Chris Meserole 為 Frontier Model Forum 的執行董事,並設立了一筆 1000 萬美元的 AI 安全基金,以推進對具備能力的 AI 模型的評估研究。

前沿模型論壇更新

OpenAI、Anthropic、Google 和 Microsoft 已任命 Chris Meserole 為 Frontier Model Forum 的首任執行董事,並啟動了一筆 1000 萬美元的 AI 安全基金。這些舉措旨在透過領導、獨立研究資助以及建立全產業技術標準,確保前沿 AI 模型的安全與負責任發展。

任命執行董事

Chris Meserole 前身為布魯金斯學會人工智慧與新興科技計畫的主任,現被任命為 Frontier Model Forum 的首任執行董事。在此角色中,Meserole 負責領導論壇的使命:

  • 推進 AI 安全研究,以減少潛在風險並促進負責任的發展。
  • 識別並建立前沿模型的安全最佳實踐。
  • 促進與學術界、政策制定者和公民社會的知識分享。
  • 支持利用 AI 來應對重大的社會挑戰。

AI 安全基金

為了應對 AI 能力加速時學術研究的空白,Frontier Model Forum 與數家慈善合作夥伴已承諾為新成立的 AI 安全基金提供超過 1000 萬美元的初始資金。

資金來源與管理

該基金獲得 Anthropic、Google、Microsoft、OpenAI 的支持,以及包括 Patrick J. McGovern 基金會、David 和 Lucile Packard 基金會、Eric Schmidt 和 Jaan Tallinn 在內的慈善合作夥伴。該基金將由 Meridian Institute 管理,並由獨立外部專家、AI 公司代表和資助專家組成的諮詢委員會監督。

目標與範圍

AI 安全基金的主要重點是支持來自學術機構、研究中心和新創公司的獨立研究者。該基金特別針對開發新的模型評估和紅隊技術,以測試前沿系統中潛在的危險能力。此舉實現了 2023 年早些時候在白宮簽署的自願 AI 承諾的一部分,以促進第三方發現與報告漏洞。

技術標準與紅隊測試

Frontier Model Forum 正致力於建立一套共同的定義與流程基準,以同步研究者、政府與產業同儕之間的討論。

標準化紅隊測試

論壇已發布其首次技術工作組更新,提供了 AI 的「紅隊測試」共同定義。論壇將「紅隊測試」定義為「一種結構化的過程,用於探測 AI 系統和產品,以識別有害能力、輸出或基礎設施威脅。」

責任披露流程

論壇正在制定一個負責任的披露流程,以允許前沿 AI 實驗室分享有關已發現漏洞、危險能力及相關緩解措施的資訊。此流程參考了論壇成員在國家安全領域進行的有關 AI 能力與緩解措施的現有研究。

未來路線圖

Frontier Model Forum 將成立諮詢委員會以指導其策略與優先事項。即將到來的里程碑包括發布 AI 安全基金的首次提案呼籲,以及在有可用資訊時發布進一步的技術發現。

Sources