OpenAI, 악의적인 AI 사용에 대비 중

OpenAI는 미래 인류 연구소, 존재적 위험 연구 센터, 새로운 미국 안보 센터, 전자 프론티어 재단 및 기타 파트너들과 협력하여 악의적인 행위자가 AI 기술을 악용할 가능성을 예측하는 연구 논문을 발표했습니다. 이 작업은 공격 비용 감소, 새로운 취약점 생성, 공격 귀인 difficulty 증가로 인한 글로벌 보안 위협을 예방하고 완화하기 위한 프레임워크를 제공하는 것을 목표로 합니다.

AI가 글로벌 보안 과제로

AI 기술은 기존 공격 실행 비용을 줄이고 새로운 취약점을 도입하며 특정 공격의 귀인을 복잡하게 함으로써 보안 위험을 제시합니다. 보고서는 AI를 양용 기술로 식별하며, 이는 immensely positive하고 immensely negative한 양쪽 용도로 사용될 수 있음을 의미합니다.

양용 특성과 위험 평가

AI 도구는 공공의 이익과 해악 양쪽에 사용될 수 있기 때문에, 공동체는 악의적인 행위자에 의한 잠재적인 전용을 평가하기 위해 연구 프로젝트를 검토해야 합니다. 양용 위험의 예시는 다음과 같습니다:

감시 도구: 이들은 테러리스트를 잡거나 일반 시민을 억압하는 데 사용될 수 있습니다.
정보 콘텐츠 필터: 이들은 가짜 뉴스를 묻거나 대중 여론을 조작하는 데 사용될 수 있습니다.

To mitigate these risks, the report recommends pre-publication risk assessments for specific research, selective sharing of sensitive research with trusted organizations, and the establishment of norms within the scientific community regarding dual-use concerns.

이러한 위험을 완화하기 위해 보고서는 특정 연구에 대한 사전 출판 위험 평가, 신뢰할 수 있는 조직과의 민감한 연구 선택적 공유, 그리고 과학 공동체 내에서의 양용 문제에 대한 규범 수립을 권장합니다.

완화 전략 및 권장 사항

보고서는 더 안전한 AI 환경을 보장하기 위해 기업, 연구 기관, 실무자 및 정부를 대상으로 고수준 권장 사항을 제공합니다.

사이버 보안 관행에서 배우기

AI 연구원은 위협을 식별하고 예방하기 위해 컴퓨터 보안 공동체의 관행을 채택해야 합니다. 권장되는 관행은 다음과 같습니다:

Red Teaming: 약점을 찾기 위해 의도적으로 시스템을破壊하거나 우회하려는 시도.
Tech Forecasting: 위협이 나타나기 전에 위협을 식별하기 위해 예측에 투자.
Confidential Reporting: AI 시스템에서 발견된 취약점을 기밀로 보고하기 위한 관행 수립.

사회적 논의 확대

AI가 글로벌 위협 환경을 변화시킬 것이므로, 그 안전과 보안에 대한 논의는 국가 보안 전문가, 윤리학자, 시민 사회, 기업 및 일반 대중을 포함하는 사회의 더 넓은 횡단면을 포함해야 합니다.

AI 오용의 구체적 시나리오

이론적 위험을 구체화하기 위해 보고서는 AI가 오용될 수 있는 몇 가지 구체적인 시나리오를 식별합니다:

Targeted Persuasion: 보안 시스템 관리자를 대상으로 하는 AI 생성 설득 광고.
Automated Cyberattacks: 사이버 범죄자들이 신경망과 "퍼징" 기법을 사용하여 자동 익스플로잇 생성 기능을 가진 컴퓨터 바이러스를 만드는 것.
Automated Physical Attacks: 청소 로봇을 해킹하여 VIP에게 폭발물 탑재를 전달하는 것.
Predictive Surveillance: 예측적 위험 프로필에 기반하여 사람들을 선제적으로 체포하기 위해 AI 강화 감시 시스템을 사용하는 불량 국가.