イランの工作活動、ChatGPTを悪用して米メディアに偽記事を掲載

OpenAI、イランによるAI生成の工作活動を阻止

OpenAIは、イランの工作活動グループがChatGPTを使用して、米国の少なくとも20のニュースメディアに約100本のAI生成記事を掲載していたことを突き止め、関連アカウントを停止しました。この工作活動は、ChatGPTを活用して洗練された論説を作成し、特にイランとの紛争に関する言説を操作して米国の世論に影響を与えることを目的としていました。

工作活動の実行と拡散

この工作活動では、小規模な地方週刊紙からソーシャルメディアで大きな影響力を持つプラットフォームまで、さまざまな媒体にAI生成コンテンツを投稿する戦略がとられました。

• 小規模メディアへの標的化: 特定された記事の一つは、フロリダ州の小さな週刊紙『Port St. Joe Star』に掲載されたもので、イランとの戦争の代償は戦闘が終わった後もアメリカ人に降りかかると警告する内容でした。
• 大手プラットフォームによる拡散: この工作活動では「Ervin Hoskins」という筆名が使用され、『Daily Kos』や『Middle East Monitor』といった大手メディアで戦争に対する批判的な見解が発表されました。これらのメディアはFacebookで合計300万人以上のフォロワーを抱えています。

OpenAIは、「Ervin Hoskins」という人物名義のコンテンツが、イラン国内のユーザーによって同社のチャットボットを使用して生成されたことを確認しました。この発見を受け、OpenAIは当該工作活動に関連するアカウントを停止しました。

技術的およびジャーナリズムへの影響

この工作活動の成功は、さまざまなニュース組織、特に厳格なファクトチェックを行うリソースが不足している組織における、投稿および検証プロセスの構造的な脆弱性を浮き彫りにしました。

プロパガンダにおけるLLMの役割

国家が支援するプロパガンダや「ソックパペット（なりすまし）」アカウントは以前からある戦術ですが、ChatGPTのような大規模言語モデル（LLM）の統合により、その規模と品質が変化しています。LLMを使用することで、工作員は高品質で洗練された文章を迅速に生成できるため、小規模メディアの編集者にとって偽の人物像がより説得力のあるものになっています。

検証の失敗

外部の主体が正当なメディアに記事を掲載できたことは、ジャーナリズムにおける検証機能の欠如を示唆しています。この工作活動は、フリーランスや寄稿の投稿に対して通常行われる精査をすり抜ける、専門家らしく見える外観を作り出すことで成功しました。

コミュニティの分析と視点

Hacker Newsの技術コミュニティにおける議論では、AIと偽情報の交差点についていくつかの重要な視点が示されています。

中央集権化と監視

一部の観察者は、AIツールの集中化が独自の障害点や監視の温床を生み出していると主張しています。あるユーザーは次のように指摘しました。

「新しいものは、文章作成を代行するだけでなく、すべてを記録し、判断し、必要に応じて当局やニュースメディアに報告する、超中央集権的な『ツール』だ。」 — @handle

オープンウェイトと来歴の必要性

単一の組織が許容される言論の境界を制御することを防ぐために、オープンウェイトモデルを求める声や、より優れたデジタル来歴ツールの必要性が高まっています。ユーザーからは、業界において文書や記事のデジタル署名の実装が不十分であり、これがコンテンツの真の起源を検証する助けになるはずだという意見が出されました。

「AI主導」の言説に対する懐疑論

一部の批評家は、AIの使用は国家が支援するメディア操作の長い歴史における二次的な詳細に過ぎないと主張しています。彼らは、AIに焦点を当てることで、諜報機関や政府がテキストの作成に使用される技術に関係なく、何十年にもわたって同様の戦術を用いてきたという事実から注意が逸らされる可能性があると指摘しています。