TIME Magazine Implements Dual-Website Strategy for AI Bots

TIMEは、訪問者の属性に応じてウェブサイトの2つの異なるバージョンを提供するシステムを導入しました。人間の読者は標準的な雑誌体験を受け取る一方で、AIクローラーには、言語モデル向けに特別に設計された広告が埋め込まれた、軽量なMarkdown形式のコンテンツが提供されます。

AI-Specific Content Delivery

TIMEは、User-Agentヘッダーを使用して、人間のブラウザとAIボットを区別しています。ChromeやSafariのような標準的なブラウザからのリクエストの場合、サーバーは完全なHTMLページ（約303KB）を返します。しかし、サーバーがClaudeBot、PerplexityBot、またはOAI-SearchBotなどのアシスタントクローラーを検出した場合、大幅に小さい（約13KB）text/markdownレスポンスを配信します。

この配信メカニズムは、すべてのボットに対して一律のポリシーではありません。例えば、Googlebotは検索エンジンランキングのペナルティを回避するために人間と同じHTMLを受け取りますが、OpenAIのトレーニング用ボット（GPTBotとChatGPT-User）は406 Not Acceptableレスポンスでブロックされます。これは、どのAIエージェントがコンテンツにアクセスすることを許可し、どのような形式でアクセスさせるかという戦略的な選択が行われていることを示しています。

The "Token-Based" Advertising Model

TIMEは、AIトラフィックを収益化するために、広告技術ベンダーのMobianと提携しました。ボットに提供されるMarkdownページには、ページビューではなくトークンに基づいて広告インプレッションを追跡するための特定のヘッダーとマーカーが含まれています。

Tracking Headers: レスポンスにはx-mobian-impression（リクエストごとに生成される一意のUUID）とx-mobian-tokens（カウントされるトークン数を示す）が含まれます。
Invisible Ads: スポンサーコンテンツはMarkdownテキストに直接埋め込まれます。例えば、コレクションページには、Ally BankやProject Management Instituteのようなスポンサーのための完全なFAQセクションが含まれることがあり、これはLLMが回答を生成する方法を模倣した一問一答形式で記述されています。

これらの広告はMarkdown内で「sponsored content」としてラベル付けされているため、技術的には開示されていますが、サイトのMarkdown版を見ない人間のユーザーには完全に不可視のままとなります。

Strategic Implications for the Web

このアプローチは、従来の検索エンジン最適化（SEO）から、一部で「AI最適化（AIO）」と呼ばれるものへの移行を意味しています。モデルに特定の構造化データを提供することで、パブリッシャーはAIがエンドユーザーに提供する情報に影響を与えることができます。

Potential Risks and Technical Concerns

この慣行に関するコミュニティの議論では、いくつかの重要な懸念事項が浮き彫りになっています。

Model Poisoning: これらの埋め込まれた広告がLLMの長期記憶やトレーニングコーパスに入り込み、マーケティング言語によってモデルの事実ベースを効果的に「汚染」してしまうリスクがあります。
Prompt Injection: 一部の観察者は、これがAIの回答において広告を優先させるための、洗練されたプロンプトインジェクション攻撃へと進化する可能性があると示唆しています。
Cloaking: 技術的な専門家は、ボットに対して人間とは異なるコンテンツを提供することは、SEOの世界では「cloaking（クローキング）」として知られていると警告しています。TIMEはGooglebotに対してはこれを回避していますが、他のパブリッシャーがこれを慎重に行わなければ、Googleによるドメイン禁止措置を受ける可能性があります。

The New Audience Split

AIボットのトラフィックが一部のパブリッシャーにおいて人間のトラフィックを数え始めるにつれ、ウェブは二分化しています。人間が消費するためのインターネットのバージョンが維持される一方で、コンテンツとユーザーの間の主要な仲介者として機能するAIエージェントのために、最適化された並行するマシン読み取り可能なレイヤーが構築されています。