OpenAI가 은밀한 AI 영향 작전을 차단했습니다

OpenAI는 AI 모델을 이용해 여론을 조작하고 정치적 결과에 영향을 미치려는 다섯 개의 은밀한 영향 작전(IO)을 차단했습니다. 생성형 AI가 사용되었음에도 불구하고, 이들 캠페인은 청중 참여도나 도달 범위에서 의미 있는 증가를 이루지 못했으며, 모두 Brookings Breakout Scale에서 2 이하의 점수를 받았습니다.

다섯 개 은밀한 영향 작전 차단

OpenAI는 정치적 댓글 생성, 기사 번역, 오픈소스 연구 수행, 코드 디버깅 등 다양한 작업에 AI를 활용한 다섯 명의 별도 위협 행위자와 연결된 계정을 식별하고 종료했습니다.

확인된 위협 행위자

  • Bad Grammar (Russia): 우크라이나, 몰도바, 발트 3국 및 미국을 표적으로 한 이전에 보고되지 않은 작전입니다. 행위자들은 AI를 사용해 텔레그램 봇 코드를 디버깅하고 러시아어와 영어로 짧은 정치적 댓글을 생성했습니다.
  • Doppelganger (Russia): 이 작전은 AI를 활용해 영어, 프랑스어, 독일어, 이탈리아어, 폴란드어로 X와 9GAG용 댓글을 생성하고, 기사 번역·편집 및 뉴스 스토리를 페이스북 게시물로 변환했습니다.
  • Spamouflage (China): 이 네트워크는 AI를 이용해 공개 소셜 미디어 활동을 조사하고, 웹사이트 관리용 코드를 디버깅(예: revealscum[.]com)하며, X, Medium, Blogspot용 중국어·영어·일본어·한국어 텍스트를 생성했습니다.
  • International Union of Virtual Media (IUVM, Iran): 이 작전은 AI를 사용해 장문 기사, 헤드라인 및 웹사이트 태그를 생성·번역했으며, iuvmpress[.]co 사이트에 적용했습니다.
  • Zero Zeno (Israel): STOIC이라는 상업 회사와 연계된 이 작전은 AI를 활용해 인스타그램, 페이스북, X 및 관련 웹사이트에 게시되는 기사와 댓글을 생성했습니다.

이 행위자들이 생성한 콘텐츠는 우크라이나 침공, 가자 지구 분쟁, 인도 선거, 중국 정부 비판 등 전 세계 지정학적 이슈에 초점을 맞추었습니다.

AI 사용에 대한 공격자 트렌드

이러한 작전에 대한 조사 결과, AI는 인간 운영자를 대체하기보다 생산성을 높이는 데 사용되고 있음을 보여줍니다. 주요 트렌드는 다음과 같습니다:

  • 증가된 양과 품질: AI 덕분에 행위자들은 인간만으로는 달성하기 어려운 높은 양과 적은 언어 오류를 가진 텍스트와 이미지를 생산할 수 있었습니다.
  • 하이브리드 콘텐츠 전략: AI는 전적으로 사용되지 않았으며, 수동으로 작성한 텍스트와 복사된 밈 등 전통적인 형식과 혼합되었습니다.
  • 시뮬레이션된 참여: 일부 네트워크는 AI를 이용해 자체 게시물에 대한 답글을 생성해 허위 참여 모습을 만들었지만, 이는 실제 청중 성장으로 이어지지 않았습니다.
  • 운영 생산성: AI는 소셜 미디어 게시물 요약, 코드 디버깅 등 콘텐츠가 아닌 작업에도 활용되었습니다.

방어 트렌드 및 완화 방안

OpenAI는 은밀한 영향 작전의 영향을 완화하고 탐지 속도를 높이기 위해 여러 방어 전략을 적용하고 있습니다.

안전 시스템 및 설계

OpenAI는 모델 설계에 안전 시스템을 통합해 위협 행위자에게 마찰을 유발합니다. 이로 인해 모델이 요청된 기만적 콘텐츠 생성을 거부하는 사례가 여러 번 발생했습니다.

AI 기반 조사

내부 AI 기반 도구를 활용함으로써 OpenAI는 조사에 소요되는 시간을 몇 주·몇 달에서 며칠로 단축했습니다. 이러한 도구는 GPT‑4가 콘텐츠 검증에 사용되는 방식과 유사하게 탐지와 분석에 활용됩니다.

배포와 인간 오류

AI 생성 자료는 청중에게 도달하기 위해 제3자 플랫폼을 통해 배포되어야 하므로, 배포 단계가 공격자에게 중요한 실패 지점으로 남습니다. 또한 OpenAI는 위협 행위자들이 모델의 거부 메시지를 실수로 공개 웹사이트와 소셜 미디어 프로필에 게시하는 등 인간 오류에 여전히 취약하다고 지적했습니다.

산업 협업

OpenAI는 상세한 위협 지표를 업계 동료와 공유하고, 보다 넓은 커뮤니티의 오픈소스 연구에 의존해 이러한 작전을 보다 효과적으로 식별하고 차단합니다.

Sources