Google Search が SERP スクレイピングに対抗するため google.com/goto リダイレクト URL を導入

Google Search が直接 URL をオブスキュアされたリダイレクトに置き換え

Google Search は、オーガニック検索結果のリンクを、HTML に直接目的の URL を公開するのではなく、google.com/goto?url=... を使用するように書き換えています。この変更は、2026 年 8 月下旬にログアウト時およびプライベートブラウジングセッションでも一貫するようになりました。これにより、目的の URL は、Google 固有のエンコーディングに置き換えられ、オフラインでは復号できません。

実際の目的 URL を取得するには、クライアントが /goto エンドポイントにリクエストを送信し、HTTP 応答の Location ヘッダーを読み取る必要があります。この変更により、実際の URL は Google サーバーへのリクエストが行われるまで公開されず、検索結果ページ(SERP)の HTML から一括で抽出されることが不可能になります。

战略的目標:SERP ハーベスティングのコストを増加させる

Google は、このリダイレクトを、AI クローラーや SEO スクレイパーが一括で結果 URL を抽出して独自のインデックスを構築する行為を防ぐための包括的対策の一部として導入しています。

平文のリンクを削除することで、スクレイパーが単一の HTML ページから数千の URL を解析できる能力が失われます。新しいシステムでは、各結果ごとに Google に個別にリクエストを送信して目的 URL を解決する必要があります。これにより、スクレイピングが大幅に遅くなり、ノイズが多くなり、連続的なリンク解決のパターンから Google が検出しやすくなります。

この更新は、以下の制限措置に続くものです:

  • 1 ページあたり 100 件の結果を表示できるようになった &num=100 パラメータの削除
  • BotGuard および SearchGuard の技術的保護の強化
  • SerpApi などの SERP 提供者に対する法的措置

開発者およびユーザーへの技術的影響

自動化ツールへの影響

検索ベースのツールを開発する開発者にとっては、goto 形式の導入により URL の抽出方法が変更が必要です。推奨される技術的アプローチは、/goto URL に対して HEAD リクエストを行い、リダイレクト先の最終ページに移動せずに Location ヘッダーを読み取ることです。これにより、クローラーが不要にターゲットページを読み込むことなく、目的 URL を取得できます。

エンドユーザーへの影響

人間のユーザーがリンクをクリックした際の最終結果は同じですが、コミュニティではいくつかの副作用が指摘されています:

  • リンク共有の破綻: ユーザーはもはや SERP から右クリックして直接リンクをコピーして共有できず、代わりに google.com/goto リダイレクトリンクをコピーする必要があります。
  • 遅延の増加: リダイレクトのホップによるページ読み込みの遅延が、一部のユーザーによって報告されています。
  • 透明性の喪失: ユーザーはリンクにマウスをホバーしてもクリック前に目的 URL を確認できず、ターゲットサイトの正当性を検証する能力が低下しています。

コミュニティの意見と代替案

オブスキュアされた URL への移行は、パワーユーザーおよび開発者から強い批判を呼び、Google が「閉鎖的なウェブ」を推進し、ディレクトリではなく「オラクル」としての役割を果たす動きだと見なされています。

"サイトにアクセスせずに真の URL を解決できる拡張機能がほしい。あるいは、ページ全体を真の URL を表示するように書き換えるものも。

多くのユーザーは、より伝統的なインデックス方式を維持する代替検索エンジンを好むと表明しています。頻繁に挙げられる代替案には以下があります:

  • Kagi: 広告なし、ユーザー中心のアプローチで評価が高い有料検索エンジン。
  • Brave Search: 自分自身の独立したインデックスを持っていることで知られる。
  • DuckDuckGo: プライバシーを重視するユーザーに利用されるが、一部のユーザーは結果の質の低下を指摘している。
  • Mojeek: エージェント向けの API ベースの代替案として挙げられる。

一部のユーザーは、udm=web パラメータがまだ「従来の」ウェブ検索結果を返す「古い」挙動を維持している可能性があると指摘していますが、これは未文書化のフラグのままです。

Sources

関連