AI測定のためのNISTへの資金提供増額に関するAnthropicの提案

Anthropicは、米国政府に対し、AIの測定および標準化の取り組みを支援するため、国立標準技術研究所（NIST）への連邦政府予算を野心的に増額することを提案しています。この投資は、AIシステムの能力とリスクを客観的に定量化する能力が、安全性の閾値を満たしていることを確認するために必要であることから、効果的なAI規制を実現するための重要な前提条件として提示されています。

AI政策における測定の役割

効果的なAIガバナンスには、システムの・リスクと能力を正確に記述し、定量化する能力が必要です。Anthropicは、測定ツールが客観的な評価の主要な実現手段であると主張し、「測定できないものは管理できない」と述べています。

標準化された測定の必要性は、いくつかの要因によって推進されています：

• 予測不能な創発性: AIシステムは、大規模モデルの訓練中に突然現れるリスクや能力、あるいはデプロイ後に初めて発見されるリスクや能力を示すことがあります。
• 標準化された手法の欠如: AI分野には現在、これらのリスクを包括的に評価するための広く合意された手法が不足しています。
• 予測不能性: オープンエンドなAIシステムは、しばしば予測不可能な方法で動作するため、開発プロセス中にすべての潜在的なリスクを予測することは困難です。

NISTの基盤と現在の資金不足

NISTは、測定インフラの構築における1世紀にわたる歴史を持つため、この業務における自然な機関として特定されています。同機関は、すでにAIにおける基礎的な取り組みを確立しており、これにはAI Risk Management Framework、Face Recognition Vendor Test、およびMNIST handwriting recognition datasetが含まれます。

この基盤があるにもかかわらず、Anthropicは、近年のNISTにおけるAI関連プログラムへの「全般的なリソース不足と懸念すべき資金提供の停滞」を指摘しています。これに対処するため、Anthropicは、2023会計年度（NIST自身が要求している500万ドルの増額分を含む）にわたって1,500万ドルの増額を推奨しています。

投資増額の戦略的メリット

野心的な資金提供は、NISTが分野全体で測定技術を標準化し、オープンエンドなAIシステムの能力とリスクを評価するためのテストベッドなどのコミュニティ・リソースを構築することを可能にします。Anthropicは、この投資の5つの主なメリットを概説しています：

1. 安全性の向上: 厳格なテストにより、システムが一般公開される前にリスクを特定し、軽減することができます。
2. 公衆の信頼の向上: AIシステムの独立した第三者による検証は、公衆の信頼を高めることができます。
3. 政府の信頼の向上: 政府は、高度なシステムが一般市民の利用に対して安全であることを、より高い確信を持って判断できるようになります。
4. イノベーションの促進: 開発者は、より優れた技術を構築し、最先端技術を押し進めるインセンティブを得ます。
5. 市場の創出: この投資は、システムの認証制度の市場を創出し、開発者に対してポジティブなインセンティブを提供することができます。

ガバナンスへのポートフォリオ・アプローチの統合

Anthropicは、測定と技術標準がすべてのAIリスクに対する「万能薬」ではないことを明確にしています。代わりに、彼らはAIガバナンスンスへの「ポートフォリオ・アプローチ」を推奨しています。このフレームワークでは、厳格なシステム評価は、以下を含む他の安全性のレバー（手段）を補完完補います：

• 開発ラボ内での強固な内部統制とガバナンス・プラクティス。
• 独立した組織による定期的な監査。
• 規制および立法的な枠組みが、公共の利益に基づいていること。