OpenAI 调查:伪造的俄罗斯网络喷子错误信息骗局

OpenAI 已发现一则病毒式社交媒体帖子,声称揭露俄罗斯网络喷子账户是骗局。此事件意义重大,因为它展示了非 AI 活动如何被用于欺骗公众,对 AI 模型的实际使用产生误导。

骗局的本质

该骗局涉及使用 OpenAI 账户和 X(前身为 Twitter)账户的协同操作。6 月 18 日,X 账户发布了一条评论,似乎是来自一位俄语用户的 JSON 错误信息,该用户在尝试生成支持特朗普总统的内容时耗尽了配额。

OpenAI 的调查确认,这条特定的错误信息并非由其模型生成。支持此结论的证据包括:

  • 看似 JSON 代码的片段并非有效的 JSON。
  • 信息错误引用了 OpenAI 模型的名称。
  • 内容看起来是手工创建的,而非 AI 生成的。

行为者的行为与模型使用

虽然错误信息本身是伪造的,但这些账户背后的行为者在六月中旬确实使用了 OpenAI 模型生成简短的对抗性评论,以回复 X 上的其他用户。这些评论涉及广泛的话题,包括摩托车、奇幻游戏和平坦地球理论。给模型的主要指令是保持争论性,不论涉及何种意识形态。

OpenAI 注意到部分帖子包含用于贬低他人的能力歧视性词汇;然而,这些词汇并非模型生成,而是在发布到 X 之前由其他过程添加的。

影响与扩散

此事件体现了典型 AI 滥用案例的逆转。行为者并未使用 AI 欺骗公众,而是利用非 AI 活动让人们误以为 AI 正以特定方式被使用。

尽管原始推文的互动有限(5 次转发、14 条引用和 3 次点赞),但随后在 LinkedIn、Reddit 等平台上的讨论与分享使内容病毒式传播。OpenAI 将此事件归类为突破尺度(Breakout Scale)第 3 类的上限,若主流媒体进一步放大,几乎可达第 4 类。

结果与缓解措施

调查结束后,OpenAI 禁用了相关的 OpenAI 账户。公开报道显示,涉及骗局的 X 账户也已被暂停。

Sources