KPMG、LLMのハルシネーションによりAI利用レポートを撤回

KPMGは、生成AIの助けを借りて作成されたプロフェッショナル・サービス・レポート「Redefining excellence in the age of agentic AI」に、AIが生成したハルシネーション（幻覚）が含まれていることが判明したため、同レポートを撤回しました。この出来事は、生成AIを活用して作成される高価値なプロフェッショナル・サービス・レポートにおける品質保証プロセスの重大な欠陥を浮き彫りにしています。

Agentic AIレポートの撤回

KPMGは、「Redefining excellence in the age of agentic AI」と題されたレポートの、ハルシネーション（AIモデルがもっともらしく聞こえるが、事実とは異なる情報を生成する事例）の発見を受けて、レポートを撤回しました。この撤回は、大規模言語モデル（LLMs）を使用して市場調査や戦略的アドバイザリー・レポートを作成している企業への警告となります。

コンサルティング業界全体におけるAIハルシネーションのパターン

この失敗は、プロフェッショナル・サービス部門における孤立した事例ではありません。コミュニティの議論では、他の大手コンサルティング・ファームも同様の問題に直面していることが示唆されています。例えば、ユーザーは、オーストラリアのDeloitteが政府関連の業務においてAI生成による不正確な情報が発生した過去の事例を指摘しています。

AI生成コンテンツに対する技術的な緩和策

技術的または財務的なレポートにおいてハルシネーションを防ぐためには、自動検証レイヤーの実装が不可欠です。一般的な技術的アプローチは、「sub-agent」アーキテクチャを使用することです。これは、別のAIエージェントに、すべての参照、図表、および引用をソース資料と照らし合わせて検証する特定のタスクを割り当てるものです。

コミュニティの技術的な貢献者によって次のように指摘されています：

「sub-agent」を使ってすべての参照や図表を検証させるという労力は、非常に低いです。それさえしていれば、99%の「顔を覆いたくなるような失敗」を防げたはずです。

このクロスチェック・メカニズムは、モデルが古い数値を使用したり、引用を捏造したりするリスクを低減します。これは、高額で販売されるレポートにおいて極めて重要な要件です。

AIハイプ・サイクルの分析

KPMGのレポート撤回は、生成AIのハイプ・サイクルが加速しているというシステム的な問題を浮き彫りにしています。一部の観察者は、テクノロジー自体が自らのハイプ（過剰な期待）を生み出していると主張しています。つまり、AIが生成したコンテンツが、同じテクノロジーの能力をプロモーションするために使用され、しばしば事実の正確性を犠牲にして、フィードバック・ループが形成されているのです。