OpenAI 行動代號「魚飼料」：俄羅斯內容農場遭瓦解

TL;DR

OpenAI 停用了一組與俄羅斯「Rybar」網絡相關的 ChatGPT 帳號（代號為「魚飼料」行動），原因是這些行為者利用該模型大規模生產多語言宣傳內容、針對非洲隱蔽行動的商業計畫，以及為盟友媒體進行宣傳。此次行動展示了生成式 AI 如何被武器化，成為影響力操作的內容農場。

行為者與歸因

• 網絡：「Rybar」（俄語："Рыбарь"，意為「漁夫」）網絡在 Telegram 和 X（前身為 Twitter）上運作。
• 來源：至少部分帳號被追蹤至俄羅斯。
• OpenAI 行動：與此網絡相關的一組 ChatGPT 帳號已被永久封禁。
• 命名：OpenAI 將此活動命名為「魚飼料行動」(Operation Fish Food)，以反映 ChatGPT 在該內容農場中扮演「飼料」的角色。

核心行為

多語言內容生成

• 提示詞主要以俄語為主，但生成的輸出內容涵蓋俄語、英語和西班牙語。
• 內容由「Rybar」品牌帳號以及其他無關的社交媒體帳號共同發布。
• 其中一名使用者還生成了用於推廣 Rybar 品牌的 Sora 影片素材。

內容農場機制

• OpenAI 在多個 Telegram 頻道和 X 帳號的貼文中，發現了 AI 生成的評論與貼文之間存在完全一致的文字匹配。
• 單一提示詞產生了一批七則推文；其中六則由不同的 X 帳號發布，追蹤者人數從 827 到超過 600,000 不等。來自高追蹤數帳號的推文獲得了 >150,000 次瀏覽，顯示受眾規模而非 AI 內容才是觸及率的關鍵。
• 在 Telegram 貼文中也觀察到類似的批次生成現象，相同的文字出現在四個不同的頻道中。

透過 AI 進行戰略規劃

• 主要使用者要求 ChatGPT 翻譯 Rybar 可銷售的服務清單，包括：
  • 營運 X 和 Telegram 帳號。
  • 經營一個專注於非洲的雙語調查新聞網站。
  • 在法語媒體中發布付費文章。
  • 協調一個擴散者網絡。
• 另有提示詞要求修改一份針對非洲部署選舉干預團隊的提案，概述了實地活動、招募當地代理人以及組織大型活動的內容。
• 其他提示詞則概述了針對剛果民主共和國、蒲隆地、喀麥隆和馬達加斯加的資訊戰活動，並建議煽動抗議。
• 最具野心的計畫估計年度預算高達 600,000 美元。

推廣盟友媒體

• 該行為者為「REST Media」生成了宣傳文案，該媒體先前已被開源研究人員與 Rybar 連結。
• 在將一篇指控德國在摩爾多瓦進行影響力操作的文章輸入 ChatGPT 後，模型產生了三則評論，隨後被發布在不同的 Telegram 頻道上，每則評論都連結回該 REST Media 的文章。

內容主題與影響

• 生成的素材呼應了典型的俄羅斯隱蔽影響力主題：讚揚俄羅斯與白俄羅斯、批評烏克蘭，並指控西方國家進行干預。
• 受眾觸及率：Rybar 的主要俄語 Telegram 頻道累積了 ~140 萬 訂閱者。許多散布 AI 生成內容的 X 和 Telegram 帳號擁有數萬名追蹤者。
• 擴散情況：目前沒有證據顯示主流新聞媒體擴散了這些內容，也沒有證據顯示非洲的實地活動與這些銷售提案相符。
• 影響力操作評級：使用布魯金斯學會 (Brookings) 的 IO Impact Breakout Scale（1 為最低，6 為最高），OpenAI 將此行動評定為 Category 3 的頂端（多個平台上的多個社群），反映其在社交媒體上的廣泛分布。

對 AI 治理的啟示

• 大型語言模型的武器化：此案例說明了大型語言模型如何被利用作為低成本、高產量的內容農場，用於國家支持的假訊息散布。
• 偵測挑戰：雖然 OpenAI 能夠追蹤跨平台的文字匹配，但確切的發布機制（例如自動化機器人與人工操作）仍不清楚。
• 政策回應：封禁違規帳號展現了主動執法的立場，但類似網絡的持續存在顯示，業界需要在偵測、歸因以及緩解 AI 驅動的影響力操作方面進行更廣泛的合作。

結論

OpenAI 對 Rybar 相關「魚飼料」行動的瓦解，凸顯了生成式 AI 模型在被用於協調宣傳時所帶來的現實風險。此事件提供了 AI 輔助內容農場跨語言、跨平台運作的具體證據，並強調了強大的監控與快速反應機制對於維護資訊生態系統的重要性。