OpenAI의 "Fish Food" 작전: 러시아발 콘텐츠 팜 차단

TL;DR

OpenAI는 러시아의 "Rybar" 네트워크와 연계된 ChatGPT 계정들을 차단했습니다. "Fish Food" 작전으로 명명된 이 활동에서, 행위자들은 모델을 사용하여 다국어 선전물, 아프리카 내 비밀 작전을 위한 상업적 계획, 그리고 우호적인 미디어 매체를 위한 홍보 자료를 대량 생산했습니다. 이번 차단 조치는 생성형 AI가 어떻게 영향력 공작을 위한 콘텐츠 팜으로 악용될 수 있는지를 보여줍니다.

행위자 및 귀속

  • 네트워크: "Rybar"(러시아어: "Рыбарь", '어부'를 의미) 네트워크는 Telegram과 X(구 Twitter)에서 운영되었습니다.
  • 출처: 최소 일부 계정은 러시아로 추적되었습니다.
  • OpenAI의 조치: 이 네트워크와 연결된 ChatGPT 계정 그룹이 영구적으로 차단되었습니다.
  • 명칭: OpenAI는 ChatGPT가 콘텐츠 팜의 먹이(feed) 역할을 했다는 점을 반영하여 이 활동을 "Operation Fish Food"라고 명명했습니다.

주요 행동 양식

다국어 콘텐츠 생성

  • 프롬프트는 주로 러시아어로 작성되었으나, 생성된 결과물은 러시아어, 영어, 스페인어를 아울렀습니다.
  • 콘텐츠는 "Rybar" 브랜드 계정과 관련 없는 소셜 미디어 프로필 모두를 통해 게시되었습니다.
  • 한 사용자는 Rybar 브랜드를 홍보하는 Sora 비디오 자산을 생성하기도 했습니다.

콘텐츠 팜 메커니즘

  • OpenAI는 AI가 생성한 댓글과 여러 Telegram 채널 및 X 계정에 게시된 게시물 간의 정확한 텍스트 일치를 확인했습니다.
  • 단일 프롬프트로 7개의 트윗이 생성되었으며, 이 중 6개는 팔로워 수가 827명에서 60만 명 이상인 서로 다른 X 계정을 통해 게시되었습니다. 팔로워가 많은 계정의 트윗은 >150,000회의 조회수를 기록했는데, 이는 도달 범위가 AI 콘텐츠가 아닌 계정의 규모에 의해 결정되었음을 시사합니다.
  • Telegram 게시물에서도 유사한 배치 생성이 관찰되었으며, 동일한 텍스트가 4개의 개별 채널에 걸쳐 나타났습니다.

AI를 통한 전략 기획

  • 주 사용자는 ChatGPT에게 Rybar가 판매할 수 있는 서비스 목록을 번역해 달라고 요청했으며, 여기에는 다음이 포함되었습니다:
    • X 및 Telegram 계정 운영.
    • 아프리카에 초점을 맞춘 이중 언어 탐사 보도 웹사이트 운영.
    • 프랑스어권 미디어에 유료 기사 게재.
    • 증폭기 네트워크 조정.
  • 별도의 프롬프트에서는 아프리카에 배치될 선거 개입 팀을 위한 제안서 수정을 요청했으며, 현장 활동, 현지 요원 모집, 대규모 행사 조직 등을 개략적으로 설명했습니다.
  • 추가 프롬프트에서는 콩고 민주 공화국, 부룬디, 카메룬, 마다가스카르를 대상으로 하는 정보 작전을 개략적으로 설명하고 시위를 선동할 것을 제안했습니다.
  • 가장 야심 찬 계획은 연간 예산을 최대 60만 달러로 추정했습니다.

우호적 미디어 홍보

  • 해당 행위자는 오픈소스 연구원들에 의해 이전에 Rybar와 연결된 것으로 밝혀진 매체인 "REST Media"를 위한 홍보 문구를 생성했습니다.
  • 독일이 몰도바에서 영향력 공작을 벌이고 있다고 비난하는 기사를 ChatGPT에 입력한 후, 모델은 3개의 댓글을 생성했으며, 이는 나중에 별도의 Telegram 채널에 게시되었고 각각 REST Media 기사로 연결되었습니다.

콘텐츠 주제 및 영향

  • 생성된 자료는 러시아와 벨라루스를 찬양하고, 우크라이나를 비판하며, 서방 국가들이 간섭하고 있다고 비난하는 전형적인 러시아의 비밀 영향력 공작 테마를 반복했습니다.
  • 청중 도달 범위: Rybar의 주요 러시아어 Telegram 채널은 ~140만 명의 구독자를 확보했습니다. AI 생성 콘텐츠를 유포한 수많은 X 및 Telegram 계정은 수만 명의 팔로워를 보유하고 있었습니다.
  • 증폭: 주류 뉴스 매체가 해당 콘텐츠를 증폭했다는 증거는 발견되지 않았으며, 아프리카에서의 현장 활동이 판매 제안과 일치한다는 증거도 없었습니다.
  • 영향력 공작 평가: Brookings IO Impact Breakout Scale(1=최저, 6=최고)을 사용하여 OpenAI는 이 작전을 Category 3의 상위 단계(여러 플랫폼의 여러 커뮤니티)로 평가했으며, 이는 소셜 미디어 전반에 걸친 광범위한 유포를 반영합니다.

AI 거버넌스를 위한 시사점

  • LLM의 무기화: 이 사례는 대규모 언어 모델이 국가 연계 허위 정보 작전을 위한 저비용, 고용량 콘텐츠 팜으로 어떻게 활용될 수 있는지를 보여줍니다.
  • 탐지 과제: OpenAI는 플랫폼 전반에서 텍스트 일치를 추적할 수 있었지만, 정확한 게시 메커니즘(예: 자동화된 봇 대 수동 운영자)은 여전히 불분명합니다.
  • 정책 대응: 위반 계정을 차단하는 것은 선제적인 집행 의지를 보여주지만, 유사한 네트워크가 지속적으로 나타나는 것은 AI 기반 영향력 공작의 탐지, 귀속 및 완화를 위해 더 넓은 산업 협력이 필요함을 시사합니다.

결론

Rybar와 연계된 "Fish Food" 작전에 대한 OpenAI의 차단 조치는 생성형 AI 모델이 조직적인 선전 활동에 악용될 때 발생하는 현실적인 위험을 강조합니다. 이 사건은 언어와 플랫폼을 넘나들며 운영되는 AI 지원 콘텐츠 팜에 대한 구체적인 증거를 제공하며, 정보 생태계를 보호하기 위해 강력한 모니터링과 신속한 대응 메커니즘이 중요함을 시사합니다.

Sources