TIME 매거진, AI 봇을 위한 이중 웹사이트 전략 시행

TIME은 방문자의 신원에 따라 웹사이트의 두 가지 서로 다른 버전을 제공하는 시스템을 구현했습니다. 인간 독자는 표준 매거진 경험을 제공받는 반면, AI 크롤러에게는 언어 모델을 위해 특별히 설계된 광고가 포함된 경량 Markdown 버전의 콘텐츠가 제공됩니다.

AI 전용 콘텐츠 제공

TIME은 User-Agent 헤더를 사용하여 인간 브라우저와 AI 봇을 구분합니다. Chrome이나 Safari와 같은 표준 브라우저에서 요청이 오면 서버는 전체 HTML 페이지(약 303KB)를 반환합니다. 그러나 서버가 ClaudeBot, PerplexityBot, 또는 OAI-SearchBot과 같은 어시스턴트 크롤러를 감지하면, 훨씬 더 작은 크기(약 13KB)의 text/markdown 응답을 전달합니다.

이 제공 메커니즘은 모든 봇에게 적용되는 일괄적인 정책이 아닙니다. 예를 들어, Googlebot은 검색 엔진 순위 불이익을 피하기 위해 인간과 동일한 HTML을 받지만, OpenAI의 학습용 봇(GPTBot 및 ChatGPT-User)은 406 Not Acceptable 응답으로 차단됩니다. 이는 어떤 AI 에이전트가 어떤 형식으로 콘텐츠에 접근할 수 있도록 허용할지를 전략적으로 선택하고 있음을 나타냅니다.

"토큰 기반" 광고 모델

TIME은 AI 트래픽을 수익화하기 위해 광고 기술 업체인 Mobian과 파트너십을 맺었습니다. 봇에게 제공되는 Markdown 페이지에는 페이지뷰가 아닌 토큰을 기반으로 광고 노출을 추적하는 특정 헤더와 마커가 포함되어 있습니다:

• Tracking Headers: 응답에는 x-mobian-impression (요청당 생성되는 고유 UUID) 및 x-mobian-tokens (계산되는 토큰 수를 나타냄)이 포함됩니다.
• Invisible Ads: 스폰서 콘텐츠는 Markdown 텍스트에 직접 삽입됩니다. 예를 들어, 컬렉션 페이지에는 Ally Bank 또는 Project Management Institute와 같은 스폰서의 전체 FAQ 섹션이 포함될 수 있으며, 이는 LLM이 응답을 생성하는 방식과 유사한 질문-답변 형식으로 작성됩니다.

이 광고들은 Markdown 내에서 "스폰서 콘텐츠"로 표시되어 기술적으로는 공개되어 있지만, 사이트의 Markdown 버전을 절대 보지 못하는 인간 사용자에게는 완전히 보이지 않습니다.

웹에 미치는 전략적 영향

이 접근 방식은 전통적인 검색 엔진 최적화(SEO)에서 일부에서 "AI 최적화(AIO)"라고 부르는 방향으로의 전환을 나타냅니다. 모델에 특정 구조화된 데이터를 제공함으로써, 발행인은 AI가 최종 사용자에게 제공하는 정보에 영향을 미칠 수 있습니다.

잠재적 위험 및 기술적 우려 사항

이 관행에 대한 커뮤니티의 논의는 몇 가지 중요한 우려 사항을 강조합니다:

• Model Poisoning: 이러한 삽입된 광고가 LLM의 장기 기억 또는 학습 코퍼스에 들어가, 마케팅 언어로 모델의 사실적 기반을 효과적으로 "독성(poisoning)"을 입힐 위험이 있습니다.
• Prompt Injection: 일부 관찰자들은 이것이 AI 응답에서 광고가 우선순위를 갖도록 보장하기 위한 정교한 프롬프트 인젝션 공격으로 발전할 수 있다고 제사합니다.
• Cloaking: 기술 전문가들은 봇에게 인간과 다른 콘텐츠를를 제공하는 것을 SEO 세계에서 "클로킹(cloaking)"이라고 부른다고 경고합니다. TIME이 Googlebot에 대해서는 이를 피하고 있지만, 다른 발행인이 이를 시도할 경우 신중하게 구현하지 않으면 Google로부터 도메인 차단을 당할 수 있습니다.

새로운 관객층의 분리

AI 봇 트래픽이 일부 발행인의 경우 인간 트래픽을 능가하기 시작함에 따라, 웹은 양분화되고 있습니다. 하나의 인터넷 버전은 인간의 소비를 위해 유지되는 반면, 병렬적인 기 머신 리더블(machine-readable) 레이어는 이제 콘텐츠와 사용자 사이의 주요 중개자 역할을 하는 AI 에이전트들을 위해 최적화되고 있습니다.