좀비 통계: AI가 인용하는 숫자의 출처

AI 통계의 신뢰성 격차

AI 어시스턴트는 종종 경험적 근거가 부족한 수치 답변을 자신 있게 제공하며, 검증되지 않은 주장을 반복하는 2차 출처를 인용하는 경우가 많습니다. Trakkr Research가 200개의 일반적인 질문을 대상으로 수행한 연구에 따르면, 인용된 통계 중 원본 연구로 이어지는 경우는 40%에 불과했으며, 11%는 출처가 전혀 없었고, 40%는 막다른 길이나 접근할 수 없는 페이지로 연결되었습니다.

좀비 통계의 해부

"좀비 통계"는 검증 가능한 연구 근거가 없음에도 불구하고 디지털 생태계에서 계속 살아남는 수치를 말합니다. 한 사례로, "영업 사원의 44%가 한 번의 후속 조치 후 포기한다"는 주장은 AI 모델에서 널리 인용됩니다. 이 숫자를 추적해 보면 서로를 참조하는 블로그 게시물과 프리랜서 기사들의 흔적만 나올 뿐, 실제 연구를 가리키는 경우는 없습니다. AI 모델이 웹상의 검증되지 않은 정보를 수집하고 반복하는 이러한 '인용 생성(citogenesis)' 주기는 근본적인 데이터가 존재하지 않을 때조차 잘못된 합의를 만들어냅니다.

AI 모델별 성능

모든 주요 AI 어시스턴트가 출처 검증에 어려움을 겪고 있지만, 인용 습관은 모델마다 다릅니다. ChatGPT는 57%로 가장 높은 출처 제공률을 보였으며, Claude, Gemini, Google AI Overviews는 38%에서 46% 사이였습니다. 주목할 점은 인용 빈도가 높다고 해서 정확도가 높은 것은 아니라는 사실입니다. 모델들은 종종 1차 연구보다는 기업 블로그, 뉴스 요약, 통계 집계 사이트에 의존하며, 이것이 인용이 제공되더라도 원본 데이터로 이어지지 않는 경우가 많은 이유입니다.

숫자가 변하고 실패하는 이유

추적을 통해 연구 결과에 도달하더라도 데이터가 왜곡되는 경우가 많습니다. 추적된 통계의 약 17%는 인터넷을 거치는 동안 맥락, 연도, 범위가 변경되었습니다. 예를 들어, 2004년에 15명의 여성이 건강 관련 웹사이트를 평가한 연구는 결국 모든 웹사이트 사용자의 디자인 선호도에 대한 일반화된 주장으로 변질되었습니다. 이러한 변화는 정보가 원래의 맥락에서 벗어나 마케팅 자료나 2차 보고서에 재사용되면서 발생합니다.

AI 생성 데이터를 위한 모범 사례

사용자는 AI가 제공하는 통계를 확정적인 사실이 아닌 단서로 취급해야 합니다. 정보를 검증하려면 다음을 수행해야 합니다.

• 출처 추적: 인용된 링크를 클릭하여 1차 출처에 도달할 때까지 확인하십시오. 링크가 리스트 형식의 기사나 기업 블로그로 연결된다면, 원본 연구 논문이나 정부 보고서를 계속 찾아보십시오.
• 맥락 검증: 연구의 표본 크기, 인구 통계, 연도를 확인하십시오. 숫자는 그 이면의 방법론만큼만 유효합니다.
• 합의 무시: 여러 AI 모델이 동일한 수치를 제공한다고 해서 해당 통계가 정확하다고 가정하지 마십시오. 모델들은 종종 동일한 학습 데이터와 일반적인 웹 편향을 공유합니다.

커뮤니티의 관점

이러한 결과에 대한 논의는 실사를 위해 AI에 의존하는 것에 대한 더 넓은 우려를 강조합니다. 비평가들은 AI가 생성한 차트와 자신감 있고 인용이 포함된 답변의 "매혹적인" 특성이 사용자가 직접 검증하는 것을 방해할 수 있다고 지적합니다. 일부 관찰자들은 이 문제가 AI만의 고유한 문제는 아니라고 주장하며, 인간이 생성한 콘텐츠도 오랫동안 "조작된" 통계의 확산으로 고통받아 왔지만, AI는 검증되지 않은 주장에 권위의 외피를 씌움으로써 이 과정을 가속화한다고 지적합니다. 한 댓글 작성자가 언급했듯이, "인용은 AI가 숫자를 어디서 찾았는지 알려줄 뿐, 그 숫자가 어디서 왔는지는 알려주지 않습니다."