OpenAIのオペレーション「Fish Food」：ロシア発のコンテンツファームを停止

TL;DR

OpenAIは、ロシア発の「Rybar」ネットワークに関連するChatGPTアカウント群（オペレーション「Fish Food」と命名）を停止しました。これらのアクターは、多言語でのプロパガンダの大量生産、アフリカでの秘密工作に向けた商業計画の策定、および提携メディアの宣伝活動にモデルを悪用していました。この停止措置は、生成AIがいかにして影響力工作のためのコンテンツファームとして武器化され得るかを浮き彫りにしています。

アクターと帰属

  • ネットワーク: 「Rybar」（ロシア語で「漁師」を意味する「Рыбарь」）ネットワークは、TelegramおよびX（旧Twitter）上で活動していました。
  • 起源: アカウントの一部はロシアに遡ることが確認されました。
  • OpenAIの対応: このネットワークに関連するChatGPTアカウントグループを永久停止しました。
  • 命名: OpenAIは、ChatGPTがコンテンツファームの「餌（フィード）」として利用された役割を反映し、この活動を「オペレーションFish Food」と名付けました。

主な行動

多言語コンテンツの生成

  • プロンプトは主にロシア語でしたが、生成された出力はロシア語、英語、スペイン語に及びました。
  • コンテンツは「Rybar」ブランドのアカウントと、無関係なソーシャルメディアプロフィールの両方から投稿されていました。
  • あるユーザーは、Rybarブランドを宣伝するSoraの動画素材も生成していました。

コンテンツファームのメカニズム

  • OpenAIは、AIが生成したコメントと、複数のTelegramチャンネルやXアカウント上の投稿との間で、完全に一致するテキストを特定しました。
  • 1つのプロンプトから7つのツイートが生成され、そのうち6つがフォロワー数827から60万超の異なるXアカウントから投稿されました。フォロワー数の多いアカウントからのツイートは**>150,000**回閲覧されましたが、これはAIコンテンツではなく、アカウントの規模がリーチを牽引したことを示しています。
  • 同様のバッチ生成はTelegram投稿でも確認され、同一のテキストが4つの異なるチャンネルに投稿されていました。

AIによる戦略的計画

  • メインユーザーはChatGPTに対し、Rybarが販売可能なサービスリストの翻訳を求めました。これには以下が含まれます：
    • XおよびTelegramアカウントの運用。
    • アフリカに焦点を当てたバイリンガルの調査報道ウェブサイトの運営。
    • フランス語メディアへの有料記事の掲載。
    • 拡散ネットワークの調整。
  • また別のプロンプトでは、アフリカでの選挙干渉チームの展開に向けた提案書の編集が求められ、現場での活動、現地エージェントの採用、大規模なイベント組織などが概説されていました。
  • さらに、コンゴ民主共和国、ブルンジ、カメルーン、マダガスカルを標的とした情報キャンペーンの計画も提示され、抗議活動を扇動するための提案が含まれていました。
  • 最も野心的な計画では、年間予算が最大60万ドルと見積もられていました。

提携メディアの宣伝

  • このアクターは、オープンソース研究者によって以前からRybarとの関連が指摘されていたメディア「REST Media」の宣伝文句を生成していました。
  • ドイツがモルドバで影響力工作を行っていると非難する記事をChatGPTに入力した後、モデルは3つのコメントを生成しました。これらは後に別々のTelegramチャンネルに投稿され、それぞれがREST Mediaの記事にリンクしていました。

コンテンツのテーマと影響

  • 生成された素材は、ロシアとベラルーシを称賛し、ウクライナを批判し、西側諸国を非難するという、ロシアの典型的な秘密工作のモチーフを繰り返していました。
  • オーディエンスのリーチ: Rybarの主要なロシア語Telegramチャンネルは約140万人の登録者を抱えていました。AI生成コンテンツを拡散した多数のXおよびTelegramアカウントも、数万人規模のフォロワーを有していました。
  • 拡散: メインストリームのニュースメディアがこのコンテンツを拡散した証拠や、アフリカでの現場活動が販売計画と一致した証拠は見つかりませんでした。
  • 影響力工作の評価: BrookingsのIO Impact Breakout Scale（1＝最低、6＝最高）を使用し、OpenAIはこのオペレーションをカテゴリー3の上位（複数のプラットフォーム上の複数のコミュニティ）と評価しました。これは、ソーシャルメディア全体での広範な拡散を反映しています。

AIガバナンスへの示唆

  • LLMの武器化: この事例は、大規模言語モデルがいかに低コストかつ大量のコンテンツファームとして、国家と連携した偽情報工作に利用され得るかを示しています。
  • 検知の課題: OpenAIはプラットフォーム間でのテキストの一致を追跡できましたが、具体的な投稿メカニズム（自動ボットか手動操作かなど）は依然として不明です。
  • 政策的対応: 問題のあるアカウントを停止することは積極的な執行姿勢を示すものですが、同様のネットワークが存続していることは、AI主導の影響力工作の検知、帰属特定、および緩和に向けた業界全体のより広範な協力が必要であることを示唆しています。

結論

OpenAIによるRybar関連の「Fish Food」オペレーションの停止は、生成AIモデルが組織的なプロパガンダに悪用された場合に生じる現実的なリスクを浮き彫りにしました。この事件は、AIを活用したコンテンツファームが言語やプラットフォームを横断して活動している具体的な証拠であり、情報エコシステムを保護するために、強固な監視と迅速な対応メカニズムが重要であることを強調しています。

Sources