専門知識に対するLLM推奨の限界

専門知識に対するLLM推奨の限界

専門知識の転移の失敗としての「LLMに聞く」というリダイレクト

専門的なアドバイスを求める人を大規模言語モデル(LLM)にリダイレクトする慣習は、人間の実体験に基づいた価値や専門的な判断を無視しているため、しばしば失敗に終わります。業界のコンセンサスが得られていない難しい質問を専門家に投げかけた際、その価値は、教科書的な回答やLLMが提供できるようなコンセンサスに基づいたデータにあるのではなく、意思決定が失敗に終わるのを目の当たりにしてきた経験豊富な実務家の「傷跡(scar tissue)」、すなわち専門的な経験の中に存在します。

なぜLLMは専門的な判断を代替できないのか

LLMは既存のドキュメントやコンセンサスに基づいた情報で学習されています。そのため、書き起こすことが難しく、検索することもさらに困難な、特定の生きた経験を提供することはできません。例えば、複数の研究結果が矛盾している場合、人間の専門家は数十年の経験を駆使して、モデルが感知できない文脈や文脈特有のニュアンスに基づいて、どの情報源を信頼すべきかを判断できます。

社会的代理としての「LLMに聞く」という回答

AIモデルに誰かをリダイレクトすることは、しばしば「分かりません」、「時間がありません」、あるいは「考えなければなりません」という言葉を丁寧に言い換えたものです。回答を断る正当な方法ではありますが、すでにLLMを最初のステップとして利用した質問者にとっては、何の価値も提供しません。

従来の「Let Me Google That For You (LMGTFY)」リンクは、基本的なリサーチを行っていない質問者に対抗するために使われていましたが、「LLMに聞く」というリダイレクトは、モデルとのやり取りをすでに終えた質問に対して行われることがよくあります。このような場合、リダイレクトは工程を削減するものではなく、単に、人間の専門家だけが提供できる、思慮深く経験に基づいた回答を差し控えることになります。

専門家の注意力のコスト

専門的なアドバイスを提供することは認知的に負荷が高く、細心の注意を必要としますが、LLMが対処できる基本的なリサーチの質問と、人間の実体験を必要とする複雑な問題との間には区別があります。質問がすでにモデルを通過している場合、AIへのリダイレクトは、LLMが使用するのと同じ学習データには見つからない専門知識の転移の機会を逃していることになります。

Sources