TIME 雜誌針對 AI 機器人實施雙網站策略
TIME 已實施一套系統,根據訪問者的身份提供兩種不同版本的網站。人類讀者會收到標準的雜誌體驗,而 AI 爬蟲則會收到內容的輕量級 Markdown 版本,其中包含專為語言模型設計的嵌入式廣告。
針對 AI 的內容傳遞
TIME 使用 User-Agent 標頭來區分人類瀏覽器與 AI 機器人。當請求來自 Chrome 或 Safari 等標準瀏覽器時,伺服器會回傳完整的 HTML 頁面(約 303KB)。然而,當伺服器偵測到如 ClaudeBot、PerplexityBot 或 OAI-SearchBot 等助手型爬蟲時,它會提供一個體積明顯較小(約 13KB)的 text/markdown 回應。
這種傳遞機制並非針對所有機器人的統一政策。例如,Googlebot 會收到與人類相同的 HTML,以避免搜尋引擎排名懲罰;而 OpenAI 的訓練機器人(GPTBot 和 ChatGPT-User)則會被 406 Not Acceptable 回應所阻擋。這顯示出在允許哪些 AI 代理程式訪問內容以及以何種格式訪問方面,存在著策略性的選擇。
「基於 Token」的廣告模式
TIME 已與廣告技術供應商 Mobian 合作,將 AI 流量變現。提供給機器人的 Markdown 頁面包含特定的標頭和標記,根據 Token 而非頁面瀏覽量來追蹤廣告曝光:
- 追蹤標頭:回應包含
x-mobian-impression(每次請求生成的唯一 UUID)和x-mobian-tokens(指示正在計算的 Token 數量)。 - 隱形廣告:贊助內容直接嵌入在 Markdown 文本中。例如,集合頁面可能包含贊助商(如 Ally Bank 或 Project Management Institute)的完整 FAQ 區塊,並以模仿 LLM 生成回應的問答格式撰寫。
由於這些廣告在 Markdown 中被標記為「贊助內容」,技術上來說它們已經披露,但對於從不看到網站 Markdown 版本的真人用戶而言,它們完全是不可見的。
對網路的策略性影響
這種做法標誌著從傳統的搜尋引擎最佳化 (SEO) 向某些人所稱的「AI 最佳化」(AIO) 轉型。透過向模型提供特定的結構化數據,出版商可以影響 AI 提供給最終用戶的資訊。
潛在風險與技術疑慮
社群對此做法的討論凸顯了幾個關鍵疑慮:
- 模型中毒 (Model Poisoning):存在一種風險,即這些嵌入式廣告可能會進入 LLM 的長期記憶或訓練語料庫,實際上是用行銷語言「毒害」模型的知識基礎。
- 提示詞注入 (Prompt Injection):一些觀察家認為,這可能會演變成複雜的提示詞注入攻擊,以確保廣告在 AI 回應中被優先考慮。
- 障眼法 (Cloaking):技術專家警告,向機器人提供與人類不同的內容,在 SEO 領域被稱為「障眼法」。雖然 TIME 在處理 Googlebot 時避開了這一點,但其他嘗試此舉的出版商如果執行不當,可能會面臨 Google 的網域封禁。
新的受眾分層
隨著 AI 機器人流量在某些出版商的網站上開始超過人類流量,網路正在發生分化。一個版本的網路是為人類消費而維護的,而一個平行的、機器可讀的層級則正在針對 AI 代理程式進行最佳化,而這些代理程式現在已成為內容與用戶之間的主要中介。
Sources
相關
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch