Anthropic Series B 融資用於 AI 安全與研究

Anthropic 已籌集了 5.8 億美元的 B 輪融資，用於開發大規模實驗性基礎設施，以改善計算密集型 AI 模型的安全特性。這筆資金使公司能夠在探索能力與安全問題如何在大規模下出現的同時，構建更具可控性、穩健性且具備可解釋性的系統。

核心研究目標

Anthropic 的研究重點在於創建具有更好隱含防護措施的大規模模型，這些措施需要較少的訓練後干預。該公司旨在開發工具來檢查這些模型的內部運作方式，以驗證安全防護措施是否按預期運作。

可解釋性

Anthropic 一直致力於透過數學方法對小型語言模型的行為進行逆向工程，並研究大型語言模型中模式匹配行為的來源。

可控性與穩健性

為了使模型更加「有幫助且無害」，Anthropic 開發了基準技術並利用強化學習來增強這些特性。該公司還發布了一個數據集，以協助其他研究實驗室訓練與人類偏好一致的模型。

擴展性與安全

Anthropic 已發布關於大型語言模型性能突然變化的分析，強調了在大規模下研究安全問題的必要性。執行長 Dario Amodei 表示，公司將利用這筆資金來探索機器學習系統可預測的擴展特性，並檢查隨著模型增長，安全問題以不可預測的方式出現的情況。

組織成長與治理

Anthropic 正在擴張其團隊，目前在舊金山約有 40 人，並專注於建立文化與治理結構，以確保在成長階段負責任地開發安全的 AI 系統。

融資細節

繼 2021 年 1.24 億美元的 A 輪融資之後，這輪 B 輪融資由 Sam Bankman-Fried (FTX 的 CEO) 領投，參與者包括 Caroline Ellison、Jim McClave、Nishad Singh、Jaan Tallinn 以及 Center for Emerging Risk Research (CERR)。