AI 垃圾的代价：从南非内政部丑闻中吸取的教训

将大语言模型 (LLMs) 集成到专业工作流程中一直被宣传为一场生产力革命。然而，AI 效率的承诺与其实际可靠性之间的差距，正开始在高风险环境中显现。最近在南非发生的一起事件——两名内政部官员因官方文件中发现 AI “幻觉”而被停职——为任何将生成式 AI 集成到其运营流程中的组织提供了一个警示故事。

事件经过：当幻觉变成官方文件

在一次凸显了 AI 辅助起草工作之危险性质的行动中，南非内政部在官方文件中发现虚假信息（通常被称为幻觉）后，停职了两名官员。这一后果强调了“人机协作” (human-in-the-loop) 流程中的一个关键失败：在内容被正式化和发布之前，未能对 AI 生成的内容进行验证。

针对这一乱局，该部门宣布将“在内部审批流程中设计并实施 AI 检查和声明”。虽然这听起来像是一个系统性的修复方案，但它引发了一个关于专业监督性质的基本问题。正如一位批评人士所指出的，最简单的“AI 检查”往往是最容易被忽视的：在签字批准之前，实际阅读文档。

责任缺口：工具 vs. 责任

这一事件引发了关于 AI 供应商与工具使用者之间矛盾关系的更广泛讨论。AI 公司积极地将这些工具营销为能够取代人类努力的工具，然而，法律和专业责任仍然完全由人类操作员承担。

"Hey use our thing! It's totally going to replace all humans! ... BTW, it hallucinates... Like all the time.. and if you don't fact check our product you're responsible. Not us!"

这种动态关系创造了一种危险的激励结构。员工被鼓励使用 AI 来加速其产出，但这项技术固有的不可预测性意味着，编辑过程中的一次疏忽可能会导致严重的职业后果，包括停职或解雇。

系统性影响与“AI 垃圾” (AI Slop)

对于一些观察者来说，这次事件并非孤连的错误，而是更深层次系统性问题的症状。有报告称，这只是“冰山一角”，甚至有说法称 AI 幻觉已经进入了南非政府自身的 AI 政策草案中。

当 AI 生成的“垃圾” (slop)——即低质量、未经验证或虚假的内容——渗入机密文件、财务计算或政策框架时，风险将从尴尬转变为灾难性。危险不仅在于幻觉本身，还在于对官方记录的信任侵蚀以及治理质量的退化。

治理与人为因素

除了技术层面，南非的背景为机构能力方面增加了一层复杂性。一些评论员认为，对 AI 的依赖可能是一种捷径，对于那些通常基于关系而非功绩而任命的管理层来说，是如此。在这样的环境中，AI 变成了掩盖缺乏专业知识的工具，而不是增强专业知识的工具。

这为发展中国家的治理未来提出了一个挑衅性的问题：AI 辅助行政管理会比它试图取代的人类主导的腐败更有效，还是更低效？如果 AI 被用来自动化不合格官员的产出，那么结果不是效率，而是无能的自动化。

结论：严格验证的必要性

内政部官员的停职是一个严厉的提醒：AI 是起草工具，而非作者。准确性的责任不能外包给一个概率模型。随着组织向将 AI 集成到其内部审批流程迈进时，重心必须从如何使用 AI 转向如何验证 AI。如果没有严格的事实核查库和人类问责机制，AI 的“生产力提升”将继续被其错误带来的高昂代价所抵消。