이란의 영향력 공작, ChatGPT를 이용해 미국 언론에 가짜 기사 게재

OpenAI, 이란의 AI 생성 영향력 공작 차단

OpenAI는 이란의 영향력 공작 세력이 최소 20개의 미국 뉴스 매체에 약 100개의 AI 생성 기사를 게재하기 위해 사용한 계정을 식별하고 차단했습니다. 이 공작은 ChatGPT를 활용하여 미국 여론에 영향을 미치기 위해 설계된 세련된 오피니언 기사를 작성했으며, 특히 이란과의 갈등을 둘러싼 서사를 겨냥했습니다.

공작 실행 및 배포

이 영향력 공작은 소규모 지역 주간지부터 상당한 소셜 미디어 도달 범위를 가진 대형 플랫폼에 이르기까지 다양한 매체에 AI 생성 콘텐츠를 투고하는 전략을 사용했습니다.

• 소규모 매체 타겟팅: 식별된 기사 중 하나는 플로리다의 소규모 주간지인 Port St. Joe Star에 게재되었으며, 이란과의 전쟁 비용이 전투 이후에도 미국인들에게 영향을 미칠 것이라고 경고했습니다.
• 대형 플랫폼을 통한 증폭: 이 공작은 "Ervin Hoskins"라는 필명을 사용하여 Daily Kos 및 Middle East Monitor와 같은 대형 매체에 전쟁에 대한 비판적 견해를 게시했으며, 이 매체들은 페이스북에서 총 300만 명 이상의 팔로워를 보유하고 있습니다.

OpenAI는 "Ervin Hoskins"라는 인물로 작성된 콘텐츠가 이란에 기반을 둔 사용자들이 자사의 챗봇을 사용하여 생성되었음을 확인했습니다. 이 발견 이후 OpenAI는 해당 공작과 관련된 계정을 차단했습니다.

기술적 및 언론학적 시사점

이 공작의 성공은 다양한 뉴스 조직, 특히 엄격한 팩트체크를 위한 자원이 부족한 조직의 투고 및 검증 과정에 존재하는 체계적인 취약점을 강조합니다.

선전 활동에서 LLM의 역할

국가 지원 선전 활동과 "양말 인형(sock puppet)" 계정은 이미 확립된 전술이지만, ChatGPT와 같은 거대 언어 모델(LLM)의 통합은 결과물의 규모와 품질을 변화시킵니다. LLM을 사용하면 운영자가 고품질의 세련된 산문을 빠르게 생성할 수 있어, 소규모 매체의 편집자들에게 가짜 인물이 더 설득력 있게 다가갈 수 있습니다.

검증 실패

외부 행위자가 합법적인 매체에 기사를 게재할 수 있다는 점은 언론의 검증 실패를 시사합니다. 이 공작은 프리랜서나 오피니언 투고에 일반적으로 적용되는 표준적인 심사를 우회하는 전문적인 외관을 만들어냄으로써 성공했습니다.

커뮤니티 분석 및 관점

Hacker News의 기술 커뮤니티 내 토론에서는 AI와 허위 정보의 교차점에 대한 몇 가지 중요한 관점이 드러났습니다:

중앙 집중화 및 감독

일부 관찰자들은 AI 도구의 중앙 집중화가 독특한 실패 지점과 감시 지점을 만든다고 주장합니다. 한 사용자는 다음과 같이 지적했습니다:

"새로운 것은 글쓰기를 대신해 줄 뿐만 아니라 모든 것을 기록하고, 판단하며, 필요에 따라 당국과 뉴스 매체에 보고하는 초중앙 집중식 '도구'입니다." — @handle

오픈 웨이트 모델과 출처 확인의 필요성

단일 주체가 허용 가능한 언어의 경계를 통제하는 것을 방지하기 위해 오픈 웨이트 모델이 필요하다는 목소리와 함께, 더 나은 디지털 출처 확인 도구에 대한 요구가 있습니다. 사용자들은 업계가 문서와 기사에 대한 디지털 서명을 효과적으로 구현하지 못했으며, 이것이 콘텐츠의 실제 출처를 확인하는 데 도움이 될 수 있다고 제안했습니다.

"AI 주도" 서사에 대한 회의론

일부 비평가들은 AI의 사용이 국가 지원 미디어 조작의 긴 역사 속에서 부차적인 세부 사항일 뿐이라고 주장합니다. 그들은 AI에 대한 집중이 텍스트 작성에 사용된 기술과 관계없이 정보 기관과 정부가 수십 년 동안 유사한 전술을 사용해 왔다는 사실로부터 주의를 분산시킬 수 있다고 제안합니다.