Google Search 實施 google.com/goto 重定向 URL 以對抗 SERP 爬取
Google Search 以不透明的重定向取代直接 URL
Google Search 現在正在重寫自然搜尋結果的連結,改用 google.com/goto?url=... 而非直接在 HTML 中暴露目的地 URL。這項變更在 2026 年 8 月下旬於未登入及隱私瀏覽階段變得一致,它使用一種無法在離線狀態下解碼的 Google 特有自定義編碼來取代目的地 URL。
若要取得實際的目的地 URL,用戶端現在必須向 /goto 端點發送請求,並讀取 HTTP 回應中的 Location 標頭。這種轉變確保了真實的 URL 僅在向 Google 伺服器發送請求時才會揭露,而非可從搜尋引擎結果頁面 (SERP) 的 HTML 中進行大量提取。
戦略目標:增加 SERP 採集成本
Google 正在實施這些重定向,作為對抗自動化 SERP 採集更廣泛努力的一部分,特別針對那些透過大量提取結果 URL 來建立獨立索引的 AI 爬蟲和 SEO 爬蟲。
透過移除純文字連結,Google 消除了爬蟲在無需進一步互動的情況下,從單一 HTML 頁面解析出數千個 URL 的能力。在新的系統下,每一項結果都需要向 Google 發送一次獨立的請求來解析目的地。這使得爬取過程顯著變慢、噪音增加,且更容易讓 Google 透過連續連結解析的模式來偵測。
這項更新緊隨其他限制性措施之後,包括:
- 移除
&num=100參數,該參數先前允許用戶查看每頁 100 個結果。 - 強化 BotGuard 和 SearchGuard 的技術保護。
- 對 SerpApi 等 SERP 提供商採取法律行動。
開發者與用戶的技術影響
對自動化工具的影響
對於開發建立搜尋型工具的開發者而言,goto 格式使得 URL 提取方式必須改變。建議的技術方法是向 /goto URL 發送 HEAD 請求,並在不跟隨重定向至最終目的地之前讀取 Location 標頭。這可以防止爬蟲在取得目的地 URL 的同時,不必要地載入目標頁面。
對終端用戶的影響
雖然人類用戶點擊連結的最終結果保持不變,但社群已注意到幾項副作用:
- 連結分享失效: 用戶無法再透過右鍵點擊並從 SERP 複製直接連結來分享給他人;相反地,他們複製的是一個
google.com/goto重定向連結。 - 延遲增加: 部分用戶回報由於重定向跳轉而導致頁面載入有可察覺的延遲。
- 透明度降低: 用戶無法在點擊前將滑鼠懸停在連結上以查看目的地 URL,降低了驗證目標網站合法性的能力。
社群觀點與替代方案
向模糊化 URL 的轉變引發了進階用戶與開發者的顯著批評,他們認為這是一種向「封閉」網路的邁進,在這種網路中 Google 扮演的是神諭而非目錄。
"I want an extension that will let me resolve the true url without visiting the site, or even rewrites the entire page to show the url."
許多用戶表示偏好維持較傳統索引行為的替代搜尋引擎。經常被提及的替代方案包括:
- Kagi: 一款因無廣告且以用戶為中心而受到讚譽的付費搜尋引擎。
- Brave Search: 以擁有其獨立索引而著稱。
- DuckDuckGo: 被尋求隱私的用戶使用,儘管部分用戶指出結果品質有所下降。
- Mojeek: 被提及為代理程式可用的 API 為主的替代方案。
部分用戶建議 udm=web 參數可能仍能提供回傳傳統網頁結果的「舊有」行為,但這仍是一個未記錄的標記。
Sources
相關
- Dispatch
- Dispatch
- Dispatch
- Dispatch