OpenAI、Operation Uncle Spam の影響活動を阻止

OpenAIは、中国発の影響作戦「Operation Uncle Spam」に関連する一連のChatGPTアカウントを禁止しました。この作戦は、AIを利用して米国の政治的議論を標的とした分極的なソーシャルメディアコンテンツを生成し、単一のイデオロギーを推進するのではなく、既存の分断を利用しました。

AI駆動のコンテンツ生成と増幅

Operation Uncle Spamは、OpenAIのモデルを利用してソーシャルメディアのコメントを生成し、計算された増幅戦術を実施しました。ネットワークは主に関税などの分裂的なトピックに焦点を当て、同一の作業セッション内で問題に対して支持的または批判的なコンテンツを生成しました。

メッセージのインパクトを最大化するために、脅威アクターはモデルに最適な投稿時間を要求し、オーディエンスのエンゲージメントを高めました。これは、XやBlueskyなどのプラットフォーム上で分極的コンテンツを増幅する計算されたアプローチを示しています。

この作戦はAI画像生成を用いて、架空のペルソナ用のスタイリッシュなロゴやプロフィール画像を作成しました。主な焦点は、現政権に批判的な米国退役軍人として見えるペルソナを作り上げることであり、例えば「Veterans for Justice」などのエンティティのロゴ作成が含まれます。

脅威アクターは、XやBlueskyのユーザープロフィールやフォロワーリストを含むソーシャルプラットフォームから個人データを抽出するコードや手法を継続的に要求しました。これらの目的のために、Tweepy、Nitter、Bluesky public API などのツールを利用しました。

抽出に加えて、アカウントはOpenAIのモデルを使用してプロフィールデータを分析し、個人の特性や組織的所属を特定する指針を得ました。これにより、作戦は個人を分類したり、関連性や属性を推測したりすることが可能になったと考えられます。

影響作戦（IO）のBreakout Scaleを使用して、OpenAIはOperation Uncle Spamをカテゴリ2と評価しています。この分類は、複数のプラットフォームにわたる活動で、ブレークアウトや実質的なエンゲージメントが最小限または全くないことを示しています。

一部のアカウントは数千人のフォロワーを持っているものの、OpenAIのモデルが生成したコンテンツはほとんど「いいね」やリポストを受けませんでした。フォロワー数は投稿への実質的なエンゲージメントに結びついていませんでした。