前沿模型論壇更新

前沿模型論壇更新 OpenAI、Anthropic、Google 和 Microsoft 已任命 Chris Meserole 為 Frontier Model Forum 的執行董事,並設立了一筆 1000 萬美元的 AI 安全基金,以推進對具備能力的 AI 模型的評估研究。

前沿模型論壇更新

OpenAI、Anthropic、Google 和 Microsoft 已任命 Chris Meserole 為 Frontier Model Forum 的首任執行董事,並啟動了一筆 1000 萬美元的 AI 安全基金。這些舉措旨在透過領導、獨立研究資助以及建立全產業技術標準,確保前沿 AI 模型的安全與負責任發展。

任命執行董事

Chris Meserole 前身為布魯金斯學會人工智慧與新興科技計畫的主任,現被任命為 Frontier Model Forum 的首任執行董事。在此角色中,Meserole 負責領導論壇的使命:

  • 推進 AI 安全研究,以減少潛在風險並促進負責任的發展。
  • 識別並建立前沿模型的安全最佳實踐。
  • 促進與學術界、政策制定者和公民社會的知識分享。
  • 支持利用 AI 來應對重大的社會挑戰。

AI 安全基金

為了應對 AI 能力加速時學術研究的空白,Frontier Model Forum 與數家慈善合作夥伴已承諾為新成立的 AI 安全基金提供超過 1000 萬美元的初始資金。

資金來源與管理

該基金獲得 Anthropic、Google、Microsoft、OpenAI 的支持,以及包括 Patrick J. McGovern 基金會、David 和 Lucile Packard 基金會、Eric Schmidt 和 Jaan Tallinn 在內的慈善合作夥伴。該基金將由 Meridian Institute 管理,並由獨立外部專家、AI 公司代表和資助專家組成的諮詢委員會監督。

目標與範圍

AI 安全基金的主要重點是支持來自學術機構、研究中心和新創公司的獨立研究者。該基金特別針對開發新的模型評估和紅隊技術,以測試前沿系統中潛在的危險能力。此舉實現了 2023 年早些時候在白宮簽署的自願 AI 承諾的一部分,以促進第三方發現與報告漏洞。

技術標準與紅隊測試

Frontier Model Forum 正致力於建立一套共同的定義與流程基準,以同步研究者、政府與產業同儕之間的討論。

標準化紅隊測試

論壇已發布其首次技術工作組更新,提供了 AI 的「紅隊測試」共同定義。論壇將「紅隊測試」定義為「一種結構化的過程,用於探測 AI 系統和產品,以識別有害能力、輸出或基礎設施威脅。」

責任披露流程

論壇正在制定一個負責任的披露流程,以允許前沿 AI 實驗室分享有關已發現漏洞、危險能力及相關緩解措施的資訊。此流程參考了論壇成員在國家安全領域進行的有關 AI 能力與緩解措施的現有研究。

未來路線圖

Frontier Model Forum 將成立諮詢委員會以指導其策略與優先事項。即將到來的里程碑包括發布 AI 安全基金的首次提案呼籲,以及在有可用資訊時發布進一步的技術發現。

Sources

相關