OpenAI Operation No Bell ケーススタディ

Operation No Bell: アフリカを標的としたAI主導の世論工作

OpenAIは、ロシアを拠点とする世論工作「Operation No Bell」に関連するChatGPTアカウントを停止しました。この工作では、生成AIを使用して米国とその同盟国を批判する長文記事やソーシャルメディアコンテンツが作成されていました。この工作はサハラ以南のアフリカの地政学に焦点を当て、偽の学術的ペルソナや転用されたソーシャルメディアページを利用して、主要なニュースメディアに偽情報を植え付けていました。

主体と起源

この工作はロシアから発信された可能性が高く、Metaからの情報提供をきっかけに調査が開始されました。「No Bell」という名称は、ChatGPTのユーザーがモデルに対し、アンゴラ大統領がノーベル平和賞を受賞するよう提唱するよう明示的に指示し、その目的がドナルド・トランプ米大統領のチームを敵対させることであると述べた特定の事例に由来しています。

コンテンツ生成と拡散の戦術

Operation No Bellは、検知を回避し、コンテンツの正当性を高めるために、いくつかの技術的およびソーシャルエンジニアリングの戦術を採用しました。

偽のペルソナの使用

多くの長文記事は「Dr. Manuel Godsin」という署名で公開されました。この人物はベルゲン大学の博士号保持者であり、「International Centre for Political and Strategic Studies」の従業員であると主張されていました。OpenAIの調査では、ノルウェー国立研究情報リポジトリ(NVA)やベルゲン大学図書館にそのような人物の記録は見つかりませんでした。さらなる調査により、Godsinに使用された写真は、2010年代のサンクトペテルブルクの法学生のものであることが判明しました。

AI検知の回避

テキストがAI生成であることを隠すため、オペレーターは特定のプロンプト技術を使用しました。

  • 文体上の制約: ユーザーはモデルに対し、人間のジャーナリストの文体で書くよう指示しました。
  • フォーマットの削除: ユーザーは特に、AI生成テキストの一般的な指標であるエムダッシュ(em-dashes)の削除を要求しました。ガーナで公開されたある記事では、元のAI生成テキストからエムダッシュが手動で削除された結果、テキストが文字化けしている箇所がありました。

クロスプラットフォームの連携

この工作では、複数のAIツールとプラットフォームが利用されました。

  • Facebookページ: コンテンツは、南アフリカ、ガーナ、ケニア、アンゴラのニュースメディアを装ったFacebookページに投稿されました。一部のページは買収・転用されたもので、例えば「Kenya Watchtower」は以前は「Farmtown5」という名称でした。
  • マルチLLMの使用: ユーザーは異なるモデルを試用し、Geminiに対して画像プロンプトを要求したり、Geminiによって生成されたと思われる画像をFacebookバナーとして使用するためにChatGPTに修正を依頼したりしていました。

主題の焦点とナラティブの目標

生成されたコンテンツは主にロシアを称賛し、ウクライナ、英国、米国を批判するものでした。主なナラティブは以下の通りです。

  • 地政学的批判: ロシアの中央アフリカ共和国における存在を称賛し、西側の指導者が偽情報で南アフリカを標的にしていると非難する記事。
  • 地域的な問題: ドイツの兵器メーカーRheinmetallが南アフリカの子会社を通じて輸出管理を回避していると非難したり、英国のNGOであるCrisis Actionが南アフリカでの抗議活動を扇動していると非難したりするなど、特定の組織を標的にしました。
  • 個人攻撃: ウクライナのウォロディミル・ゼレンスキー大統領やドナルド・トランプ米大統領に焦点を当てたコンテンツもありました。

影響評価

この工作のソーシャルメディア上でのリーチは限定的であり、あるページはMetaによって停止されるまでに3,000人のフォロワーしか獲得できませんでしたが、主要なニュースサイトに記事を掲載することにはより成功していました。

ブルッキングス研究所の世論工作に関する「Breakout Scale」(1から6の範囲)を使用し、OpenAIはOperation No Bellをカテゴリー4の下位に位置づけています。これは、この工作が主要メディアへの進出に成功したことを示しています。

Sources