OpenAI 조사: 가짜 러시아 트롤 오류 메시지 사기

OpenAI는 러시아 트롤 계정을 폭로한다는 바이럴 소셜 미디어 게시물이 사기임을 확인했습니다. 이 사건은 비AI 활동이 AI 모델의 실제 사용에 대해 대중을 속이는 데 어떻게 활용될 수 있는지를 보여주기 때문에 중요합니다.

사기의 성격

이 사기는 OpenAI 계정과 X(구 Twitter) 계정을 이용한 협조된 시도로 이루어졌습니다. 6월 18일, X 계정은 트럼프 대통령을 지지하는 콘텐츠를 생성하려다 크레딧이 부족해진 러시아어 사용자가 보낸 JSON 오류 메시지처럼 보이는 댓글을 게시했습니다.

OpenAI의 조사 결과, 이 특정 오류 메시지는 그들의 모델에 의해 생성된 것이 아니라는 것이 확인되었습니다. 이를 뒷받침하는 증거는 다음과 같습니다:

  • 보이는 JSON 코드 조각이 유효한 JSON이 아니었습니다.
  • 메시지가 OpenAI 모델의 이름을 잘못 언급했습니다.
  • 내용이 AI가 생성한 것이 아니라 수작업으로 만든 것으로 보였습니다.

행위자 행동 및 모델 사용

오류 메시지 자체는 가짜였지만, 계정 뒤의 행위자는 6월 중순에 OpenAI 모델을 사용해 X에서 다른 사용자에게 답글로 짧고 적대적인 댓글을 생성했습니다. 이 댓글들은 오토바이, 판타지 게임, 평평한 지구 이론 등 다양한 주제를 다루었습니다. 모델에 주어진 주요 지시는 이념에 관계없이 논쟁적이 되라는 것이었습니다.

OpenAI는 일부 게시물에 다른 사람을 비하하는 능력주의 용어가 포함되어 있었지만, 이러한 용어는 모델에 의해 생성된 것이 아니라 X에 게시되기 전에 다른 과정에서 추가된 것이라고 밝혔습니다.

영향 및 증폭

이 사건은 일반적인 AI 오용 사례와는 반대되는 상황을 보여줍니다. AI를 사용해 사람들을 속이는 대신, 행위자는 비AI 활동을 이용해 사람들을 AI가 특정 방식으로 사용되고 있다고 믿게 만들었습니다.

원본 트윗의 반응이 제한적이었음에도(리포스트 5회, 인용 14회, 좋아요 3회), 이후 LinkedIn, Reddit 및 기타 플랫폼에서 트윗에 대한 논의와 공유가 이어지면서 내용이 바이럴하게 퍼졌습니다. OpenAI는 이 사건을 Breakout Scale의 카테고리 3 상위 수준으로 분류했으며, 주류 언론이 더 크게 확대했더라면 카테고리 4에 가까웠을 것입니다.

결과 및 완화

조사 후, OpenAI는 관련 OpenAI 계정을 차단했습니다. 공개 보고에 따르면, 사기에 연루된 X 계정도 정지된 것으로 나타났습니다.

Sources