Google DeepMind 다중 에이전트 AI 안전 연구 펀딩 콜

Google DeepMind은 Schmidt Sciences, Cooperative AI Foundation, ARIA, Google.org와 협력하여 다중 에이전트 AI 시스템의 안전을 연구하기 위해 최대 1,000만 달러 규모의 기술 연구 펀딩 콜을 시작했습니다. 이 이니셔티브는 서로 다른 조직의 수백만 개의 독립적인 AI 에이전트가 디지털 환경에서 상호작용, 협상, 거래를 할 때 발생하는 '보이지 않는' 안전 위험을 이해하고 완화할 수 있는 프레임워크를 구축하는 것을 목표로 합니다.

다중 에이전트 생태계에서의 발생 위험

다중 에이전트 AI 안전은 개별 모델 성능보다는 집단 행동에 초점을 맞추기 때문에 기존 AI 안전과 다릅니다. 현재 대부분의 안전 평가는 모델을 고립 상태에서 분석하지만, 자율 에이전트의 상호작용은 예측하고 측정하기 어려운 복잡한 '발생' 행동을 일으킬 수 있습니다.

Google DeepMind은 이러한 상호작용과 관련된 몇 가지 잠재적인 시스템 전반 위험을 다음과 같이 식별합니다:

• 예측 불가능한 경제 활동: 에이전트 상호작용으로 인해 갑작스럽고 변동성이 큰 경제 거래의 급증이 발생할 가능성.
• 보안 도전 과제: 집단 에이전트 행동으로 인해 발생하는 새로운 취약점이나 위협.
• 모니터링 도구 부족: 집단 능력의 변화를 예측, 측정, 모니터링하는 데 필요한 도구의 현재 부족.

다중 에이전트 안전을 위한 연구 우선순위

다중 에이전트 상호작용의 복잡성을 해결하기 위해 이 펀딩 콜은 네 가지 특정 우선순위 분야에 대한 제안을 요청합니다:

샌드박스와 테스트베드

연구자들은 다중 에이전트 안전의 진전을 평가하고 비교하기 위해 시뮬레이션된 생태계, 가상 시장, 다중 조직 워크플로와 같은 현실적이고 재현 가능한 환경을 구축하도록 권장됩니다.

에이전트 네트워크의 과학

이 분야는 상호작용하는 에이전트 집단의 안전과 관련된 특성을 이해하는 데 중점을 둡니다. 주요 목표로는 집단 능력이 어떻게 발생하고 확장되는지 조사하고, 네트워크가 어떻게 변동적이거나 실패하는지 식별하며, 위험한 집단 수준 특성을 탐지하는 방법을 개발하는 것이 포함됩니다.

에이전트 인프라 강화

크로스 플랫폼 에이전트 상호작용을 보장하는 신원, 평판, 약속 프로토콜을 스트레스 테스트하기 위한 연구가 필요합니다.

감독 및 제어

이 우선순위 분야는 배포된 에이전트 집단을 모니터링하고 대규모로 집단 피해를 완화하는 방법을 개발하는 데 중점을 둡니다.

맥락 및 협업 프레임워크

이 이니셔티브는 Google DeepMind의 2025년 에이전트 상호작용 이해 프레임워크 및 적대적 환경에서의 취약점과 관련된 'AI Agent Traps' 연구를 포함한 이전 연구를 기반으로 합니다. 또한 Schmidt Sciences의 신뢰할 수 있는 AI 및 AI 에이전트 프로그램의 Science of Trustworthy AI mission 및 ARIA의 Scaling Trust 프로그램과 일치합니다. 이 프로그램은 사이버-물리적 다중 에이전트 조정에 중점을 둡니다.

다중 에이전트 상호작용의 복잡성이 기존 안전 모델을 앞지르고 있기 때문에, 주최 측은 단일 연구소만으로는 이러한 문제를 해결할 수 없으며, 투명하고 견고한 안전 표준을 보장하기 위해 독립적인 연구자들의 글로벌 네트워크가 필요하다고 강조합니다.