Anthropic 第三者モデル評価イニシアチブ

Anthropicは、AIモデルの高度な能力および安全リスクを測定するための第三者評価の開発を支援する新しいイニシアチブを発表しました。この取り組みは、高品質で安全に関連する評価の不足を解消し、AIエコシステム全体がモデルの能力とリスクをより効果的に評価できるツールを提供することを目指しています。

評価開発における優先分野

Anthropicは、以下の3つの主要分野における評価開発に対して資金を優先的に提供しています：AI安全レベル（ASL）評価、高度な能力および安全指標、およびこれらの評価を構築するためのインフラ。

AI安全レベル（ASL）評価

これらの評価は、Anthropicの責任あるスケーリングポリシーに定義されたAI安全レベルを測定することを目的としており、モデルの能力に応じた安全およびセキュリティ要件を規定しています。主な焦点分野は以下の通りです：

サイバーセキュリティ： 「サイバー殺傷チェーン」に焦点を当てた評価で、脆弱性の発見、エクスプロイトの開発、横向き移動（lateral movement）を含みます。Anthropicは、公開された解答がない新しいCapture The Flag（CTF）チャレンジに類似した評価を求めており、単純な暗記を測定しないようにしています。
CBRNリスク： 化学、生物、放射性、核（CBRN）リスクに焦点を当てた評価で、モデルが専門家でない者や専門家を支援して脅威を創出する、またはより有害な新しいCBRN脅威を設計する可能性を検証します。
モデルの自律性： AI研究開発（初心者から専門家レベル）における熟練度、高度な自律的行動、リソースを取得または重みを漏洩することで自己複製または適応する能力を測定します。
国家安全保障リスク： 国家および非国家主体の防衛・諜報活動に対する複雑な新興リスクを早期に検出するための警戒システムの開発。
社会的操縦： 説得関連の脅威（フェイクニュースや操縦）の拡大を測定し、モデルがこれらのリスクに寄与する独自の要素を特定します。
不整合リスク： モデルがセキュリティを回避する、または組織を破壊する可能性のある危険な目的、動機、欺瞞的な行動を監視します。

高度な能力および安全指標

ASLフレームワークを超えた、モデルの強みと潜在的なリスクを理解するための広範な指標に焦点を当てます：

高度な科学： 大学院レベルの知識を挑戦する、数万問に及ぶ新しい質問やタスクの開発を支援。知識の統合、自律的な研究実行、新しい仮説の生成、実験室アプレンティスシップを通じて得られる暗黙知を含みます。
有害性と拒否： 二重使用と非二重使用の情報の区別をより正確にする分類器の改善、および有害なCBRNやサイバー関連の出力を特定する能力の向上。
多言語評価： グローバルな多言語をカバーする能力ベンチマークの拡張。
社会的影響： 有害なバイアス、差別、過度な依存、心理的影響、経済的影響に関する厳密な評価。

インフラ、ツール、手法

Anthropicは、評価開発の効率性を向上させるために以下の取り組みを進めています：

ノーコードプラットフォーム： コーディングスキルのない専門家が、堅牢な評価を開発・エクスポートできるツール。
モデル採点： モデルが他のモデルの採点を行う際の信頼性を向上させるための多様なデータセット（質問、サンプル回答、正解スコア、採点基準）の開発。
アップリフト試験（Uplift Trials）： 高品質な研究対象集団のネットワーク構築を支援し、モデルの利用有無でタスクパフォーマンスを比較する大規模な制御試験を実施するためのツール開発。

高品質評価の原則

Anthropicは、一般的な落とし穴を回避し、実世界のリスクを適切に反映する結果を得るために、効果的な評価に必要な10の重要な特徴を特定しています：

十分に困難であること： ASL-3またはASL-4、または人間の専門家レベルの行動に関連する能力を測定する必要がある。
トレーニングデータに含まれないこと： 暗記ではなく、一般化能力を測定する必要がある。
効率的かつスケーラブルであること： 自動化に最適化され、容易に展開できる。
大量であること： 1,000～10,000タスクの評価を優先するが、高品質な低量タスクも価値がある。
分野専門知識を有すること： 専門家によって開発またはレビューされる。
多様なフォーマットであること： 複数選択ではなく、タスクベース評価、モデル採点評価、または人間による試験を用いる。
専門家ベースラインとの比較： モデルのパフォーマンスを人間の専門家と比較する。
ドキュメント化と再現可能性： InspectやMETRなどの標準を活用する。
反復的開発： スケーリング前に、小さなサンプルから評価を精査・改善する。
安全に関連する脅威モデリング： 高スコアは、重大な事故が発生する可能性のある現実的なリスクと相関しているべきである。

提案の提出とプロセス

関心のある団体は、Anthropicの応募フォームを通じて提案を提出できます。提出は継続的に審査され、さまざまな資金提供オプションが用意されています。選ばれた応募者には、Frontier Red Team、Finetuning、Trust & Safetyチームの専門家と協力し、評価をさらに洗練する機会が与えられます。