因低质量内容致死：当 AI 幻觉撰写你的讣告

互联网一直是谣言快速传播的场所，但现代 AI 的速度和自信引入了一种全新、超现实的错误信息。Cliff Stoll——开创性黑客纪实《The Cuckoo's Egg》的作者兼 Klein bottle 业务的所有者——最近发现自己处于一种奇特的境地，需要向人们说明他实际上仍然活着。

当 Stoll 开始收到关心的个人发来的邮件，询问他去世后他的业务是否仍在运营时，这一情形展开了。来源是什么？一篇在 Facebook 上流传的 AI 生成的《The Cuckoo's Egg》书评。该书评不仅提供了常见的合成赞美，还自信地宣称 Stoll 已于 2024 年 5 月去世。

“AI 低质量内容” 的崛起

Stoll 的经历是一个典型的例子，说明了许多人现在称之为 “AI 低质量内容”——低质量、AI 生成的内容，旨在淹没社交媒体信息流，以增长账号并获取粉丝。正如 Hacker News 社区成员所指出的，这类垃圾信息的入门门槛极低。

"只需不到一分钟，就可以让 LLM 写一篇关于有趣事物的社交媒体帖子并在线发布……我看到的账号似乎在使用廉价模型，这些模型会犯很多错误并产生幻觉式的事实。"

有一种玩世不恭的理论认为，这些幻觉并非单纯的错误，而是特性。一些人认为，虚构事实提供的“额外调味”使帖子更具吸引力，提升了尚未学会识别合成内容特征的用户分享的可能性。

除了 LLM 的技术失误之外，此事件凸显了信息生产方式更深层的哲学转变。一些人认为，AI 由那些以“表现”而非准确性为视角的人开发。在这种框架下，目标是创造一个令人信服的叙事或引人入胜的内容，而不论其背后的事实是否真实。

这种 “表现错觉” 体现为自信的谎言。AI 并不“知道”自己在撒谎；它只是预测在看似评论的序列中最可能出现的下一个 token。当该序列包含虚构的死亡日期时，AI 以与已验证事实相同的权威性呈现它。

也许此趋势最令人担忧的方面是错误信息的递归循环潜力。如果 AI 模型在从网络抓取的数据上进行训练，而网络日益充斥着包含幻觉的 AI 生成的 “低质量内容”，这些模型可能会开始将这些捏造视为事实真相。

这会导致一种现象：幻觉在不同平台上被反复传播，以至于在后续 AI 模型和毫无防备的人眼中成为 “已验证” 的事实。正如一位观察者所指出的，这可能导致未来的互联网被视为 “虚构与虚假艺术作品” 的集合。

在这个具体案例中存在深刻的讽刺。Cliff Stoll 因在《The Cuckoo's Egg》中通过计算机日志追踪真实入侵者的细致、人工驱动的努力而成名。如今，他正被一个合成实体 “追踪” 并定义，该实体创建了一条通向不存在墓地的数字轨迹。

虽然 Stoll 以向 Mark Twain 致敬的方式处理了此事——指出关于他死亡的报道 “略有夸大”——但此事件是一个严峻的警示。在 AI 无处不在的时代，验证的负担已完全转移到消费者身上。当 AI 能在人们注意到之前 “把人‘杀’掉” 时，唯一剩余的真相来源就是直接的人类确认：“我还没死”。