Google 搜索引入 google.com/goto 重定向 URL 以打击 SERP 抓取
Google 搜索用不透明重定向替换直接 URL
Google 搜索现在正在将自然结果链接重写为使用 google.com/goto?url=...,而不是在 HTML 中直接暴露目标 URL。这一变化在 2026 年 8 月下旬对未登录和私密浏览会话保持一致,它用自定义的、Google 特有的编码替换了目标 URL,这种编码无法离线解码。
要获取实际的目标 URL,客户端现在必须向 /goto 端点发出请求,并读取 HTTP 响应中的 Location 标头。这一转变确保真实 URL 仅在向 Google 服务器发出请求时才会被揭示,而不是可以从搜索引擎结果页面(SERP)HTML 中批量提取。
战略目标:提高 SERP 抓取的成本
Google 实施这些重定向是更广泛努力的一部分,旨在打击自动化 SERP 抓取,特别是针对那些通过批量提取结果 URL 来构建独立索引的 AI 爬虫和 SEO 抓取工具。
通过移除明文链接,Google 消除了抓取工具无需进一步交互即可从单个 HTML 页面解析数千个 URL 的能力。在新系统下,每个结果都需要向 Google 发出单独的请求来解析目标地址。这使得抓取速度显著变慢、噪音更大,并且更容易被 Google 通过顺序链接解析的模式检测到。
此更新是在其他限制性措施之后推出的,包括:
- 移除
&num=100参数,该参数之前允许用户每页查看 100 个结果。 - 加强 BotGuard 和 SearchGuard 技术保护。
- 对 SerpApi 等 SERP 提供商采取法律行动。
对开发者和用户的技术影响
对自动化工具的影响
对于构建基于搜索的工具的开发者来说,goto 格式要求改变 URL 的提取方式。推荐的技术方法是对 /goto URL 执行 HEAD 请求,并读取 Location 标头,而不跟随重定向到最终目标。这可以防止爬虫不必要地加载目标页面,同时仍然获取目标 URL。
对最终用户的影响
虽然人类用户点击链接的最终结果保持不变,但社区已经注意到了几个副作用:
- 链接分享失效: 用户无法再从 SERP 中右键复制直接链接与他人分享;相反,他们复制的是
google.com/goto重定向链接。 - 延迟增加: 一些用户报告由于重定向跳转,页面加载出现可感知的延迟。
- 透明度丧失: 用户无法在点击前悬停链接查看目标 URL,从而降低了验证目标网站合法性的能力。
社区观点和替代方案
向混淆 URL 的转变引发了重度用户和开发者的强烈批评,他们认为这是向“封闭”网络迈进的一步,Google 在其中扮演的是“神谕”而非“目录”的角色。
“我想要一个扩展,让我无需访问网站就能解析真实 URL,甚至重写整个页面以显示 URL。”
许多用户表示倾向于使用保持更传统索引行为的替代搜索引擎。经常被提及的替代方案包括:
- Kagi: 一个付费搜索引擎,因其无广告和以用户为中心的方法而受到称赞。
- Brave Search: 以其拥有自己的独立索引而闻名。
- DuckDuckGo: 被寻求隐私的用户使用,尽管一些用户注意到结果质量有所下降。
- Mojeek: 被引用为适合代理的基于 API 的可行替代方案。
一些用户建议 udm=web 参数可能仍然提供返回传统网页结果的“旧”行为,尽管这仍然是一个未记录的标志。
SUMMARY: Google 搜索已将直接的自然结果 URL 替换为不透明的 google.com/goto 重定向,以提高自动化 SERP 抓取和 AI 爬取的成本。
TITLE: Google 搜索引入 google.com/goto 重定向 URL 以打击 SERP 抓取
Sources
相关
- Dispatch
- Dispatch
- Dispatch
- Dispatch