KPMG 因 LLM 幻觉撤回 AI 使用报告

KPMG 已撤回其专业服务报告《Redefining excellence in the age of agentic AI》,因为发现该文档包含 AI 生成的幻觉。这一事件凸显了在使用生成式 AI 辅助制作高价值专业服务报告时,质量保证流程的关键失效。

Agentic AI 报告的撤回

在发现幻觉(即 AI 模型生成听起来合理但事实错误的信息的情况)后,KPMG 撤回了题为《Redefining excellence in the age of agentic AI》的报告。此次撤回为使用 Large Language Models (LLMs) 制作市场研究和战略咨询报告的公司敲响了警钟。

咨询行业中 AI 幻觉的普遍模式

这一失败并非专业服务领域的孤立事件。社区讨论表明,其他大型咨询公司也面临过类似问题。例如,用户提到了之前涉及澳大利亚 Deloitte 的事件,当时在与政府相关的业务中出现了 AI 生成的不准确信息。

AI 生成内容的的技术缓解策略

为了防止技术或财务报告中出现幻觉,实施自动化验证层至关重要。一种常见的技术方法是使用“sub-agent”架构,即指派一个单独的 AI agent 专门负责根据原始资料验证所有引用、数据和引文。

正如社区技术贡献者所言:

疯狂的是,只需说一句“让一个 sub agent 验证所有引用和数据”所付出的努力程度是如此之低。这本可以防止 99% 的尴尬局面。

这种交叉检查机制降低了模型使用过时数据或伪造引文的风险,而这对于高价销售的报告来说是一项关键要求。

AI 炒作周期分析

KPMG 报告的撤回凸显了一个系统性问题,即生成式 AI 的炒作周期正在加速。一些观察者认为,技术本身正在编写自己的炒作内容,从而创造了一个反馈循环,即 AI 生成的内容被用于推广同一种技术的各种能力,而这往往是以牺牲事实准确性为代价的。

Sources