前沿模型論壇更新
前沿模型論壇更新 OpenAI、Anthropic、Google 和 Microsoft 已任命 Chris Meserole 為 Frontier Model Forum 的執行董事,並設立了一筆 1000 萬美元的 AI 安全基金,以推進對具備能力的 AI 模型的評估研究。
前沿模型論壇更新
OpenAI、Anthropic、Google 和 Microsoft 已任命 Chris Meserole 為 Frontier Model Forum 的首任執行董事,並啟動了一筆 1000 萬美元的 AI 安全基金。這些舉措旨在透過領導、獨立研究資助以及建立全產業技術標準,確保前沿 AI 模型的安全與負責任發展。
任命執行董事
Chris Meserole 前身為布魯金斯學會人工智慧與新興科技計畫的主任,現被任命為 Frontier Model Forum 的首任執行董事。在此角色中,Meserole 負責領導論壇的使命:
- 推進 AI 安全研究,以減少潛在風險並促進負責任的發展。
- 識別並建立前沿模型的安全最佳實踐。
- 促進與學術界、政策制定者和公民社會的知識分享。
- 支持利用 AI 來應對重大的社會挑戰。
AI 安全基金
為了應對 AI 能力加速時學術研究的空白,Frontier Model Forum 與數家慈善合作夥伴已承諾為新成立的 AI 安全基金提供超過 1000 萬美元的初始資金。
資金來源與管理
該基金獲得 Anthropic、Google、Microsoft、OpenAI 的支持,以及包括 Patrick J. McGovern 基金會、David 和 Lucile Packard 基金會、Eric Schmidt 和 Jaan Tallinn 在內的慈善合作夥伴。該基金將由 Meridian Institute 管理,並由獨立外部專家、AI 公司代表和資助專家組成的諮詢委員會監督。
目標與範圍
AI 安全基金的主要重點是支持來自學術機構、研究中心和新創公司的獨立研究者。該基金特別針對開發新的模型評估和紅隊技術,以測試前沿系統中潛在的危險能力。此舉實現了 2023 年早些時候在白宮簽署的自願 AI 承諾的一部分,以促進第三方發現與報告漏洞。
技術標準與紅隊測試
Frontier Model Forum 正致力於建立一套共同的定義與流程基準,以同步研究者、政府與產業同儕之間的討論。
標準化紅隊測試
論壇已發布其首次技術工作組更新,提供了 AI 的「紅隊測試」共同定義。論壇將「紅隊測試」定義為「一種結構化的過程,用於探測 AI 系統和產品,以識別有害能力、輸出或基礎設施威脅。」
責任披露流程
論壇正在制定一個負責任的披露流程,以允許前沿 AI 實驗室分享有關已發現漏洞、危險能力及相關緩解措施的資訊。此流程參考了論壇成員在國家安全領域進行的有關 AI 能力與緩解措施的現有研究。
未來路線圖
Frontier Model Forum 將成立諮詢委員會以指導其策略與優先事項。即將到來的里程碑包括發布 AI 安全基金的首次提案呼籲,以及在有可用資訊時發布進一步的技術發現。
Sources
- OriginalFrontier Model Forum updates