KPMG, LLM 환각 현상으로 인해 AI 사용 보고서 철회

KPMG는 "Redefining excellence in the age of agentic AI" 보고서가 AI가 생성한 환각(hallucinations)을 포함하고 있다는 사실을 발견한 후, 해당 전문 서비스 보고서를 철회했습니다. 이번 사건은 생성형 AI의 도움을 받아 제작된 고부가가치 전문 서비스 보고서에서 품질 보증 프로세스의 중대한 실패를 보여줍니다.

Agentic AI 보고서의 철회

KPMG는 AI 모델이 그럴듯해 보이지만 사실과 다른 정보를 생성하는 현상인 환각(hallucinations)이 발견됨에 따라 "Redefining excellence in the age of agentic AI"라는 제목의 보고서를 철회했습니다. 이번 철회는 시장 조사 및 전략 자문 보고서를 작성하는 데 Large Language Models (LLMs)를 사용하는 기업들에 경종을을 울립니다.

컨설팅 업계 전반의 AI 환각 패턴

이러한 실패는 전문 서비스 분야에서 발생하는 단일 사건이 아닙니다. 커뮤니티 논의에 따르면 다른 주요 컨설팅 기업들도 유사한 문제를 겪은 것으로 보입니다. 예를 들어, 사용자들은 호주의 Deloitte가 정부 관련 업무에서 AI가 생성한 부정확한 정보를 포함했던 이전 사례를 언급했습니다.

AI 생성 콘텐츠를 위한 기술적 완화 전략

기술적 또는 재무적 보고서에서 환각 현상을 방지하기 위해 자동화된 검증 레이어(validation layers)를 구현하는 것이 필수적입니다. 일반적인 기술적 접근 방식은 별도의 AI 에이전트가 모든 참조, 수치, 인용을 원본 자료와 대조하여 검증하는 작업을 전담하는 "sub-agent" 아키텍처를 사용하는 것입니다.

커뮤니티의 기술 기여자들의 의견은 다음과 같습니다:

"sub-agent"를 사용하여 모든 참조와 수치를 검증하도록 하는 것은 노력 대비 효과가 매우 높습니다. 이것만으로도 대부분의 황당한 실수들을 방지할 수 있었을 것입니다.

이러한 교차 검증 메커니즘은 모델이 오래된 수치를 사용하거나 인용을 조작하는 위험을 줄여주며, 이는 높은 가격에 판매되는 보고서에서 매우 중요한 요구 사항입니다.

AI 하이프 사이클(Hype Cycle) 분석

KPMG 보고서의 철회는 생성형 AI 하이프 사이클이 가속화되는 시스템적 문제를 강조합니다. 일부 관찰자들은 기술 자체가 스스로의 하이프를 작성하고 있으며, AI가 생성한 콘텐츠가 동일한 기술의 능력을 홍보하는 데 사용되어, 종종 사실적 정확성을 희생시키면서 기술의 능력을 과장하게 만드는 피드백 루프를 형성하고 있다고 주장합니다.