인터넷의 집단 기억의 붕괴

디지털 검색의 위기

웹에서 정보 검색은 고정된 포인터 시스템에서 확률적인 추측 시스템으로 전환되고 있다. 이 전환은 기본 사실의 정확성을 해치고 원본 자료를 점점 더 찾기 어려운 상태로 만들고 있다.

Google의 AI 요약(AI Overviews) 통합은 일반 검색에서 중요한 사실 오류를 유발하고 있다. 예를 들어, 사용자들이 AI가 일몰 시간을 창조해내어 행사에 놓치는 사례가 보고되었다. 이 변화는 검색 엔진이 사용자를 소스로 연결하는 '중립적 게이트웨이' 모델에서, 엔진이 자신의 말로 정보를 재작성하는 편집 모델로 전환되는 것을 의미한다. 이 변화는 이미 법적 결과를 초래했다. 최근 독일 법원은 Google의 AI 개요 기능이 잘못된 연결을 통해 출판사들을 사기적 사업 관행과 연계시켜 허위 진술을 생성하자, Google에 책임을 물었다.

디지털 코퍼스의 붕괴

인터넷의 집단 기억을 저장하는 인프라는 기업의 이해관계, 기술적 쇠퇴, 그리고 AI 기반 트래픽 변화의 복합적인 영향으로 붕괴되고 있다.

기업의 삭제와 링크 손상

디지털 콘텐츠가 가속화된 속도로 삭제되고 있다. 주목할 만한 사례는 FiveThirtyEight의 거의 전체 아카이브를 운영 수익이 없는 자산이 되자 월트 디즈니 컴퍼니가 삭제한 것이다. 이는 디지털 아카이브가 문화 기록이 아니라 부채나 비용 중심으로 간주되는 추세를 보여준다.

위키백과의 역설

세계에서 가장 중요한 공공 지식 자원 중 하나인 위키백과는 체계적인 위협에 직면하고 있다. AI 시스템들이 위키백과의 콘텐츠를 스크래핑하고 소화하여 직접 답변을 제공함으로써, 사용자가 원본 페이지로 이동할 필요가 없게 되었다. 이는 악순환을 만든다: 트래픽 감소는 백과사전 운영을 유지하기 위해 필요한 주목과 기부를 줄이게 된다.

인터넷 아카이브의 법적 분쟁

인터넷 아카이브와 그 웨이백 머신—웹의 가장 가까운 안전장치—는 심각한 압박을 받고 있다. 웹 인덱싱의 기술적 부담 외에도, 디지털 대출 프로그램에 대한 비용이 큰 소송을 겪고 있다. 게다가 뉴스 기관들이 웨이백 머신의 크롤러를 차단하는 경우가 늘어나고 있는데, 이는 AI 기업들이 저작권이 있는 자료를 간접적으로 활용하는 것을 막기 위함이다.

커뮤니티 관점의 통합

이 붕괴에 대한 기술적 논의는 몇 가지 중요한 긴장을 드러낸다:

"AI 오우로보로스" 효과: 사용자와 개발자들은 AI가 AI가 생성한 '잡다한 내용'으로 훈련되면서 모델 품질이 시간이 지남에 따라 저하되는 악순환을 경고한다. 한 사용자는 AI가 이제 다른 AI의 환각을 사실로 인용할 수 있다고 지적했다.
문서화의 죽음: 개발자들은 기술 참조 문서가 전통적인 검색을 통해 찾기 어려워지고 있으며, 이로 인해 API 세부사항을 환각할 수 있는 AI에 의존하게 되고 있다고 보고했다.
광고 모델의 실패: 비판자들은 Google의 우선순위가 사용자에서 광고주로 옮겨졌다고 주장하며, 검색 품질이 수익화와 AI 기반 참여를 위해 희생되는 "우선순위 역전"이 발생했다고 지적한다.
큐레이션의 회귀: 공공 웹의 "잡다한 쓰레기"에 대한 반응으로, 개인 웹사이트, 큐레이션된 뉴스레터, 개인 아카이브로의 이동이 늘어나고 있다.

"우리는 세계 최대의 도서관을 짓고 있지만 문을 잠그고, 전등이 꺼지기 전에 로봇들이 모든 것을 사본으로 찍게 하고 있다."

디지털 주권으로 나아가기

집단 기억의 완전한 상실을 막기 위해, 정보 검색을 소비자 서비스가 아니라 전략적 공공 자산으로 간주해야 한다는 주장이 제기되고 있다.

국가적 대안

일부 정부는 이미 대형 기술 플랫폼의 대안을 도입하고 있다. 프랑스는 개인정보 보호를 중시하는 유럽에 호스팅된 검색 엔진 Qwant과, 국내 개발 메시징 앱 Tchap을 도입하여 실리콘 밸리에 대한 의존도를 줄였다. 마찬가지로 유럽 위원회는 독립적인 소셜 사이트 W Social에 참여했다.

공익적 아키텍처

정부가 도로나 국가 안보를 관리하듯이 공익적 디지털 인프라를 구축해야 한다는 주장이 커지고 있다. 이는 Library and Archives Canada와 Internet Archive Canada와 같은 기관을 지원하여 역사적 기억을 보존하는 것을 의미한다. 이는 수익성이 있기 때문이 아니라, 공공재이기 때문에 보존되어야 한다.