大语言模型(LLM)在专家知识推荐方面的局限性
大语言模型(LLM)在专家知识推荐方面的局限性
“询问 LLM”这种重定向作为专家知识传递的失败
将寻求专家建议的人重定向到大语言模型(LLM)的做法往往会失败,因为它忽略了人类生活经验和专业判断的具体价值。当专家被问及一个没有行业共识的难题时,其价值不在于教科书式的答案或 LLM 可以提供的基于共识的数据,其价值在于“伤疤组织”——即那些见过决策失误的资深从业者的专业经验。
为什么 LLM 无法取代专家判断
LLM 是基于现有文档和基于共识的信息进行训练的。它们无法提供难以写成文字、甚至更难搜索到的具体生活经验。例如,当多项研究发生冲突时,人类专家可以利用其数十年的经验,根据模型无法感知的上下文和特定于上下文的细微差别来确定信任哪个来源。
“询问 LLM”这种响应作为一种社交代理
将某人重定向到 AI 模型通常是“我不知道”、“我没时间”或“我需要考虑一下”的一种礼貌说法。虽然这是一种拒绝回答的正当方式,但对于已经将 LLM 作为第一步尝试过的寻求者来说,它没有提供任何价值。
与旧式的“让我为你谷歌搜索一下”(LMGTFY)链接不同——后者用于应对那些没有进行基础研究的寻求者——“询问 LLM”这种重定向通常是针对那些已经过模型交互的提问。在这些 cases 中,这种重定向并没有节省步骤;它只是拒绝提供只有人类专家才能提供的、经过深思熟虑且基于经验的答案。
专家注意力的成本
虽然提供专家建议在认知上要求很高且需要密切关注,但在 LLM 可以处理的基础研究问题与需要人类生活经验的复杂问题之间存在区别。当一个问题已经过模型处理后,重定向到 AI 是一种错失的机会,无法实现那种在 LLM 所使用的相同训练数据中无法找到的专家知识传递。