전문가 지식에 대한 LLM 추천의 한계

전문가 지식 전달의 실패로서의 'LLM에게 물어보기' 리다이렉트

전문가 조언을 구하는 사람을 대규모 언어 모델(LLM)로 리다이렉트하는 관행은 인간의 실제 경험과 전문적 판단의 구체적인 가치를 무시하기 때문에 종종 실패합니다. 업계의 합의가 없는 어려운 질문을 전문가에게 던졌을 때, 그 가치는 교과서적인 답변이나 LLM이 제공할 수 있는 것과 동일한 합의 기반 데이터에 있는 것이 아니라, 결정이 잘못된 방향으로 흘러가는 것을 목격해 온 숙련된 실무자들의 전문적 경험, 즉 '흉터 조직(scar tissue)'에 있습니다.

왜 LLM이 전문가의 판단을 대체할 수 없는가

LLM은 기존의 문서와 합의 기반 정보로 학습됩니다. LLM은 글로 쓰기 어렵고 검색하기도 더 어려운 구체적인 실제 경험을 제공할 수 없습니다. 예를 들어, 여러 연구 결과가 충돌할 때, 인간 전문가는 모델이 인지할 수 없는 맥락과 맥락 특유의 미묘한 차이를 바탕으로 수십 년의 경험을 사용하여 어떤 출처를 신뢰할지 결정할 수 있습니다.

사회적 대리인으로서의 'LLM에게 물어보기' 응답

누군가를 AI 모델로 리다이렉트하는 것은 종종 "I don't know," "I don't have time," 또는 "I'd have to think about it."의 정중한 버전입니다. 이는 답변을 거절하는 정당한 방법이 될 수 있지만, 이미 LLM을 첫 단계로 사용해 본 구직자에게는 아무런 가치를 제공하지 못합니다.

과거의 "Let Me Google That For You" (LMGTFY) 링크가 기초적인 조사를 수행하지 않은 사람들을 상대하기 위해 사용되었던 것과 달리, "LLM에게 물어보기" 리다이렉트는 종종 모델과의 상호작용을 이미 거친 질문들에 대해 주어집니다. 이러한 경우, 리다이렉트는 단계를 줄여주는 것이 아니라, 오직 인간 전문가만이 제공할 수 있는 사려 깊고 경험에 기반한 답변을 단순히 유보하는 것에 불과합니다.

전문가의 주의 집중 비용

전문가 조언을 제공하는 것은 인지적으로 까다롭고 세심한 주의를 필요로 하지만, LLM이 처리할 수 있는 기초적인 조사 질문과 인간의 실제 경험이 필요한 복잡한 문제 사이에는 구분이 있습니다. 질문이 이미 모델을 거쳐온 경우, AI로의 리다이렉트는 LLM이 사용하는 것과 동일한 학습 데이터에서는 찾을 수 없는 전문가 지식의 전달을 위한 놓친 기회입니다.