伊朗影响力行动利用 ChatGPT 在美国媒体植入虚假文章

OpenAI 阻断伊朗利用 AI 生成的影响力行动

OpenAI 已经识别并封禁了伊朗影响力行动所使用的账户，这些账户曾试图在至少 20 家美国新闻媒体上植入约 100 篇由 AI 生成的文章。该行动利用 ChatGPT 创建了经过润色的评论文章，旨在影响美国公众舆论，特别是针对围绕与伊朗冲突的相关叙事。

该影响力行动采取了一种策略，即向各种出版物提交 AI 生成的内容，范围涵盖小型地方周报到在社交媒体上拥有巨大影响力的平台。

针对小型媒体： 其中一篇被识别的文章出现在佛罗里达州的一份小型周报《Port St. Joe Star》上，文中警告称与伊朗开战的代价将伴随美国人，远超战斗本身。
通过大型平台放大： 该行动使用“Ervin Hoskins”这一署名，在《Daily Kos》和《Middle East Monitor》等大型出版物上发表批评战争的观点，这些平台在 Facebook 上总共拥有超过 300 万的关注者。

OpenAI 证实，归因于“Ervin Hoskins”这一角色的内容是由位于伊朗的用户使用其聊天机器人生成的。在发现这一情况后，OpenAI 封禁了与该行动相关的账户。

此次行动的成功凸显了各类新闻机构在投稿和审核流程中存在的系统性漏洞，尤其是那些缺乏资源进行严格事实核查的机构。

虽然国家支持的宣传和“傀儡”账户是既定的策略，但像 ChatGPT 这样的大语言模型（LLM）的整合改变了产出的规模和质量。大语言模型使操作者能够快速生成高质量、润色过的文章，从而使虚假身份对小型出版物的编辑更具说服力。

外部行为者能够在合法出版物中植入文章，这表明新闻审核机制存在失灵。该行动通过创建一个看起来专业的门面，绕过了通常针对自由撰稿人或评论投稿所进行的标准审查，从而获得了成功。

Hacker News 上的技术社区讨论揭示了关于 AI 与虚假信息交叉点的几个关键观点：

一些观察人士认为，AI 工具的集中化创造了一个独特的故障点和监控点。正如一位用户所指出的：

"新事物是一个超级中心化的‘工具’，除了帮你写作之外，它还会记录一切、评判内容，并根据需要向当局和新闻媒体报告。" — @handle

有人呼吁使用开放权重的模型，以防止单一实体控制可接受言论的边界，同时也推动更好的数字来源证明工具。用户指出，该行业一直缺乏对文档和文章进行数字签名的有效实施，而这本可以帮助验证内容的真实来源。

一些批评者认为，在国家支持的媒体操纵的长久历史中，AI 的使用只是一个次要细节。他们认为，对 AI 的关注可能会分散人们的注意力，忽略了情报机构和政府几十年来一直在使用类似策略的事实，无论用于起草文本的技术是什么。