Anthropic 提議增加 NIST 用於 AI 量測的資金

Anthropic 提議美國政府應雄心勃勃地增加對美國國家標準暨技術研究院 (NIST) 的聯邦資金，以支持其 AI 量測與標準化工作。這項投資被視為有效 AI 監管的關鍵前提，因為客觀量化 AI 系統的能力與風險是確保其符合安全閾值的必要條件。

AI 政策中量測的角色

有效的 AI 治理需要能夠準確描述並量化系統風險與能力。Anthropic 主張，量測工具是實現客觀評估的主要推動力，並指出「無法量測的事物很難管理」。

這種對標準化量測的需求是由幾個因素驅動的：

• 不可預測的湧現性： AI 系統可能會在大型模型訓練過程中突然展現出風險與能力，或者在部署後才被發現。
• 缺乏標準化方法： AI 領域目前缺乏廣泛公認的方法來全面評估這些風險。
• 不可預測性： 開放式 AI 系統通常以不可預測的方式運作，使得在開發過程中難以預期所有潛在風險。

NIST 的基礎與目前的資金缺口

由於 NIST 擁有建立量測基礎設施的一個世紀之久的歷史，因此被認為是承擔此項工作的天然機構。該機構已在 AI 領域建立了基礎性工作，包括 AI 風險管理框架 (AI Risk Management Framework)、人臉識別供應商測試 (Face Recognition Vendor Test) 以及 MNIST 手寫辨識數據集。

儘管有此基礎，Anthropic 指出 NIST 近年來在 AI 相關計畫上的「資源普遍不足且資金增長停滯，情況令人擔憂」。為了應對這一點，Anthropic 建議在 2023 財政年度的基礎上增加 1,500 萬美元的資金（這包括了 NIST 本身要求的 500 萬美元增額）。

增加投資的戰略效益

雄心勃勃的資金投入將允許 NIST 在整個領域內將量測技術標準化，並建立社群資源（例如測試平台），以評估開放式 AI 系統的能力與風險。Anthropic 概述了這項投資的五個主要效益：

1. 增強安全性： 嚴格的測試可以識別並緩解風險，在系統發布給公眾之前。
2. 增加公眾信任： 對 AI 系統進行獨立的第三方驗證可以增加公眾信心。
3. 政府信心： 政府可以更有信心確保先進系統對於一般公眾使用是安全的。
4. 促進創新： 開發者將獲得動力去建立更好的技術並推動技術前沿。
5. 市場創造： 這項投資可以為系統認證創造一個市場，並為開發者提供正面激勵。

整合至治理的組合式方法中

Anthropic 澄清，量測與技術標準並非解決所有 AI 風險的「萬靈丹」。相反地，他們主張採用 AI 治理的「組合式方法」(portfolio approach)。在此框架下，嚴格的系統評估將與其他安全槓桿相輔成全，包括：

• 開發實驗室內部的穩健內部控制與治理實務。
• 由獨立組織進行的定期審計。
• 基於公眾利益的監管與立法框架。