TIME 杂志针对 AI 机器人实施双网站策略

TIME 已实施了一套系统，根据访问者的身份提供其网站的两个不同版本。人类读者接收标准的杂志体验，而 AI 爬虫则接收包含专门为语言模型设计的嵌入式广告的轻量级 Markdown 版本内容。

AI 特有的内容交付

TIME 使用 User-Agent 请求头来区分人类浏览器和 AI 机器人。当请求来自 Chrome 或 Safari 等标准浏览器时，服务器会返回完整的 HTML 页面（约 303KB）。然而，当服务器检测到诸如 ClaudeBot、PerplexityBot 或 OAI-SearchBot 之类的助手爬虫时，它会交付一个显著更小的 text/markdown 响应（约 13KB）。

这种交付机制并非针对所有机器人的统一政策。例如，Googlebot 接收与人类相同的 HTML，以避免搜索引擎排名惩罚，而 OpenAI 的训练机器人 (GPTBot 和 ChatGPT-User) 则被 406 Not Acceptable 响应拦截。这表明在允许哪些 AI 代理访问内容以及以何种格式访问方面，存在着战略性的选择。

“基于 Token”的广告模型

TIME 已与广告技术供应商 Mobian 合作，以实现 AI 流量的变现。提供给机器人的 Markdown 页面包含特定的请求头和标记，用于根据 Token 而非页面浏览量来追踪广告展示次数：

• 追踪请求头：响应包含 x-mobian-impression（每个请求生成的唯一 UUID）和 x-mobian-tokens（指示正在计数的 Token 数量）。
• 不可见广告：赞助内容被直接嵌入到 Markdown 文本中。例如，集合页面可能会为 Ally Bank 或 Project Management Institute 等赞助商包含完整的 FAQ 部分，并以模仿 LLM 生成响应的方式编写的问答格式进行。

由于这些广告在 Markdown 中被标记为“赞助内容”，从技术上讲它们是经过披露的，但对于从不查看网站 Markdown 版本的用户来说，它们对人类用户是完全不可见的。

对 Web 的战略影响

这种方法标志着从传统的搜索引擎优化 (SEO) 向某些人所称的“AI 优化” (AIO) 的转变。通过向模型提供特定的、结构化的数据，出版商可以影响 AI 向最终用户提供的信息。

潜在风险与技术担忧

围绕这一做法的社区讨论突出了几个关键担忧：

• 模型中毒：存在一种风险，即这些嵌入式广告可能会进入 LLM 的长期记忆或训练语料库，从而有效地用营销语言“毒害”模型的知识库。
• 提示词注入：一些观察者认为，这可能会演变成复杂的提示词注入攻击，以确保广告在 AI 响应中获得优先权。
• 障眼法 (Cloaking)：技术专家警告说，向机器人提供与人类不同的内容被称为 SEO 领域的“障眼法”。虽然 TIME 避免了这一点（针对 Googlebot），但其他尝试此举的出版商如果实施不当，可能会面临 Google 的域名封禁。

新的受众分层

随着 AI 机器人流量开始在某些出版商那里超过人类流量，互联网正在发生分化。一个版本的互联网是为人类消费而维护的，而一个平行的、机器可读的层正在为那些现在充当内容与用户之间主要中介的 AI 代理进行优化。