OpenAI “鱼食”行动:俄罗斯背景的内容农场被取缔

TL;DR

OpenAI 封禁了一批与俄罗斯“Rybar”网络(被称为“鱼食”行动)相关的 ChatGPT 账号,因为这些行为者利用该模型大规模生产多语言宣传内容、针对非洲隐蔽行动的商业计划书,以及为其盟友媒体进行推广。此次取缔行动展示了生成式 AI 如何被武器化,成为影响力行动的内容农场。

行为者与归因

  • 网络:“Rybar”(俄语:“Рыбарь”,意为“渔夫”)网络在 Telegram 和 X(前身为 Twitter)上运营。
  • 来源:至少部分账号被追踪到位于俄罗斯。
  • OpenAI 行动:与该网络相关的一组 ChatGPT 账号被永久封禁。
  • 命名:OpenAI 将此活动命名为“鱼食”行动(Operation Fish Food),以反映 ChatGPT 在该内容农场中充当“饲料”的角色。

核心行为

多语言内容生成

  • 提示词主要使用俄语,但生成的输出涵盖了俄语、英语和西班牙语。
  • 内容由“Rybar”品牌账号和无关的社交媒体资料共同发布。
  • 一名用户还生成了用于推广 Rybar 品牌的 Sora 视频素材。

内容农场机制

  • OpenAI 在多个 Telegram 频道和 X 账号的 AI 生成评论与帖子之间发现了完全一致的文本匹配。
  • 单个提示词生成了一批七条推文;其中六条由不同的 X 账号发布,粉丝数从 827 到超过 600,000 不等。来自高粉丝账号的推文获得了 >150,000 次浏览,这表明受众规模而非 AI 内容本身才是推动传播的关键。
  • 在 Telegram 帖子中也观察到了类似的批量生成情况,相同的文本出现在四个不同的频道中。

通过 AI 进行战略规划

  • 主要用户要求 ChatGPT 翻译 Rybar 可以销售的服务列表,包括:
    • 运营 X 和 Telegram 账号。
    • 运营一个专注于非洲的双语调查新闻网站。
    • 在法语媒体上发布付费文章。
    • 协调一个放大器网络。
  • 另有提示词要求修改一份关于在非洲部署选举干预团队的提案,概述了实地活动、当地代理人招募和大规模活动组织等内容。
  • 其他提示词概述了针对刚果民主共和国、布隆迪、喀麦隆和马达加斯加的信息战活动,并建议煽动抗议。
  • 最宏大的计划估计年度预算高达 600,000 美元

推广盟友媒体

  • 该行为者为“REST Media”生成了宣传文案,该媒体此前已被开源研究人员与 Rybar 联系起来。
  • 在将一篇指责德国在摩尔多瓦进行影响力行动的文章输入 ChatGPT 后,该模型生成了三条评论,随后被发布在不同的 Telegram 频道上,每条评论都链接回 REST Media 的文章。

内容主题与影响

  • 生成的材料呼应了经典的俄罗斯隐蔽影响力主题:赞扬俄罗斯和白俄罗斯,批评乌克兰,并指责西方国家进行干预。
  • 受众覆盖范围:Rybar 的主要俄语 Telegram 频道积累了 ~140 万 订阅者。许多传播 AI 生成内容的 X 和 Telegram 账号拥有数万名粉丝。
  • 放大效应:没有证据表明主流新闻媒体放大了这些内容,也没有证据表明非洲的实地活动与这些销售方案相符。
  • 影响力行动评级:使用布鲁金斯学会的 IO 影响 Breakout Scale(1 为最低,6 为最高),OpenAI 将此次行动评定为 Category 3 的顶端(跨多个平台的多个社区),反映了其在社交媒体上的广泛分布。

对 AI 治理的启示

  • 大语言模型的武器化:该案例说明了大型语言模型如何被利用作为低成本、高容量的内容农场,用于国家支持的虚假信息传播。
  • 检测挑战:虽然 OpenAI 能够追踪跨平台的文本匹配,但具体的发布机制(例如自动化机器人与人工操作员)尚不明确。
  • 政策响应:封禁违规账号展示了主动执法的立场,但类似网络的持续存在表明,行业需要在检测、归因和缓解 AI 驱动的影响力行动方面进行更广泛的合作。

结论

OpenAI 对与 Rybar 相关的“鱼食”行动的取缔,凸显了生成式 AI 模型在被用于协调宣传时所带来的现实风险。此次事件提供了 AI 辅助内容农场跨语言、跨平台运作的具体证据,并强调了建立强有力的监控和快速响应机制以保护信息生态系统的重要性。

Sources