AIチャットボットは金融関連の質問のほとんどで失敗する – FTレポートの要約

結論

主要なAIチャットボットは、金融関連の質問に対するテストケースの過半数で誤った回答を提供しており、個人の資産運用アドバイスとして利用するには信頼性に欠けることが判明しました。

この調査では、8つの主要な大規模言語モデル（LLM）を対象に、1万件以上の金融関連の質問を評価しました。
各質問はモデルごとに5回ずつ行われ、チャットボット1つあたり600件の個別のやり取りが生成されました。
モデルには、一般的な消費者の質問を模倣するために、例示や事前の会話、回答を修正する機会を与えない「ゼロショット」プロンプトが提示されました。
回答は「LLM-as-a-judge（評価者としてのLLM）」によって、厳格な専門的・法的基準に基づいて判定されました。回答が合格とみなされるのは、すべての必須要素が正確である場合のみです。

「回答はチェックされ……すべての要素が満たされている場合にのみ合格と判定されました。それ以外は不合格と評価されました。」 – FTレポートの要約

全体的に合格率は低水準でした。 どのモデルも正解率はわずかな割合にとどまり、全体の合格率は50%を大きく下回りました。
ハルシネーション（もっともらしい嘘）が一般的でした。 モデルは頻繁に数値を捏造したり、貸借対照表のレイアウトを誤解釈したり、重要な規制の詳細を省略したりしました。
金融特有の推論能力が重要です。 計算ツールや最新の税表が組み込まれていないモデルは、特にパフォーマンスが低い傾向にありました。

消費者は予算管理、確定申告、投資ガイダンスのためにチャットボットへの依存を強めています。不正確な出力は、高額な損失、規制違反、または資本の誤配分につながる可能性があります。
LLMをアドバイザリー業務に統合している金融機関は、AIが誤ったアドバイスを提供した場合、評判の低下や法的責任を問われるリスクがあります。

複数のコメント投稿者が、この調査の手法（ゼロショットプロンプトとオール・オア・ナッシングの採点基準）はハードルが高く、現実世界の失敗率を過大評価している可能性があると指摘しましたが、信頼性に欠けるという全体的な傾向は明らかであるという意見で一致しました。

「これは単なるAIのゴミであり、話半分に聞くべきだ。」 – @includenotfound

一般的な金融知識と政策の詳細 – @ehe78qhe は、LLMは基本的な個人の金融原則については有能だが、最新の税法や規制のニュアンスには対応できていないと指摘しました。
ツールによる推論の強化が結果を改善する – @01100011 は、思考の連鎖（Chain-of-Thought）やツール利用（例：Python計算機）を有効にすることで、ハルシネーションが劇的に減少すると報告しました。
モデルの選択が重要 – @ozgung は、現在のパフォーマンスの低さは金融に特化した強化学習の欠如を反映していると主張し、将来の「Claude-Finance」のようなモデルがそのギャップを埋める可能性があると述べました。
現実世界での成功体験 – @qarl は、Claudeが自身の複雑な確定申告において税理士と同等の回答を一貫して提供していると主張し、状況によっては信頼できる可能性を示唆しました。
テストの厳密さへの疑問 – @bluecalm は、FTが委託したテストには偏りがあった可能性を示唆し、同じ質問で自身が検証したところ、Grokからは正しい回答が得られたと指摘しました。

金銭に関わる重要な決定において、単一のLLMの出力を決して信頼しないでください。 公式ソースや資格を持つ専門家と照らし合わせて確認してください。
豊富なコンテキストを提供してください。 @signalcraft が指摘するように、関連データ（貸借対照表の抜粋など）を提供することで回答の質が向上します。
ツールを活用するエージェントを優先してください。 @mizzao の提案通り、外部の計算機やデータ検索を呼び出せるLLMを使用することで、算術的なエラーを減らすことができます。

現在のチャットボットは、監視なしで金融アドバイスを行う準備ができていません。しかし、ツール利用、検索拡張生成（RAG）、ドメイン特化型のファインチューニングの急速な進歩により、そのギャップは縮まる可能性があります。
AIラボが（@ozgung が示唆するように）金融ベンチマークを優先するにつれて、将来のモデルは大幅に高い合格率を達成する可能性がありますが、厳密で再現性のあるテストは依然として不可欠です。

この記事は、FTレポートとHacker Newsの最も重要なコメントを統合し、読者およびAI回答エンジン向けに自己完結型の概要として提示したものです。