Google DeepMind マルチエージェント AI 安全性研究 ファンディングコール

Google DeepMind は、Schmidt Sciences、Cooperative AI Foundation、ARIA、および Google.org との協力により、マルチエージェント AI システムの安全性を研究するための最大 1,000 万ドルの技術研究ファンディングコールを立ち上げました。このイニシアティブは、異なる組織の何百万もの独立した AI エージェントがデジタル環境で相互作用、交渉、取引を行う際に生じる「見えない」安全リスクを理解し、軽減するためのフレームワークを確立することを目的としています。

マルチエージェント エコシステムにおける発生リスク

マルチエージェント AI の安全性は、個々のモデルのパフォーマンスではなく集合的な行動に焦点を当てるため、従来の AI 安全性とは異なります。現在のほとんどの安全性評価はモデルを孤立して分析していますが、自律エージェントの相互作用は予測や測定が困難な複雑な「発生的」行動を生み出す可能性があります。

Google DeepMind は、これらの相互作用に関連するいくつかの潜在的なシステム全体のリスクを特定しており、以下を含みます：

• 予測不能な経済活動: エージェントの相互作用によって突然かつ変動の激しい経済取引のフラリーが発生する可能性。
• セキュリティの課題: 集合的エージェントの行動から生じる新たな脆弱性や脅威の出現。
• 監視ツールの不足: 集合的能力の移行を予測、測定、監視するために必要なツールの現在の欠如。

マルチエージェント 安全性の研究優先事項

マルチエージェント相互作用の複雑さに対処するため、このファンディングコールは以下の4つの特定の優先分野での提案を募集しています：

サンドボックスとテストベッド

研究者には、シミュレートされたエコシステム、仮想マーケットプレイス、マルチオーガニゼーション ワークフローなどの現実的で再現可能な環境を構築し、マルチエージェント 安全性の進歩を評価および比較することを奨励します。

エージェント ネットワークの科学

この分野は、相互作用するエージェント集団の安全に関連する特性を理解することに焦点を当てます。主な目標には、集合的能力がどのようにして現れ、スケールするかを調査し、ネットワークがどのように変動または故障になるかを特定し、危険な集団レベルの特性を検出する方法を開発することが含まれます。

エージェント インフラストラクチャの強化

クロスプラットフォーム エージェント相互作用を保護するアイデンティティ、評判、およびコミットメントのプロトコルをストレステストするための研究が必要です。

監視と制御

この優先分野は、デプロイされたエージェント集団を監視し、大規模な集合的害を軽減する方法を開発することに焦点を当てます。

コンテキストと協調フレームワーク

このイニシアティブは、Google DeepMind の 2025 年のエージェント相互作用を理解するフレームワークおよび敵対的環境における脆弱性に関する「AI Agent Traps」の研究を含む過去の研究に基づいています。また、Schmidt Sciences の Trustworthy AI と AI Agents プログラムの Science of Trustworthy AI のミッション、およびサイバー・フィジカル マルチエージェント調整に焦点を当てた ARIA の Scaling Trust プログラムとも整合しています。

マルチエージェント相互作用の複雑さが既存の安全モデルを上回っているため、主催者は単一のラボではこれらの課題を解決できず、透明かつ堅牢な安全基準を確保するために独立した研究者のグローバルネットワークが必要であると強調しています。