Amazonbot と Robots.txt 標準：長らく遅れていた転換

何年もの間、ウェブサイト所有者と大規模ウェブクローラーとの関係は、協力と対立の微妙なバランスで成り立ってきました。この緊張の中心にあるのが robots.txt で、クロールの好みを伝える業界標準プロトコルです。長い間、Amazon のウェブクローラーである Amazonbot はこれらの指示を無視することで悪名高く、開発者はサーバーリソースを保護するために過激な対策を取らざるを得ませんでした。

最近のアップデートで、Amazon はユーザーに対し、2026年6月15日から Amazonbot がクロールの好みをこれらの業界標準指示のみで管理するよう移行することを正式に通知しました。この転換は、Amazon がウェブにアクセスする方法における重要な変化を示し、手動リクエストから分散型・標準化されたアプローチへと移行することを意味します。

標準化された制御への転換

Amazon Publisher Support からの公式コミュニケーションによると、同社はサイト所有者が「Amazonbot がサイトにアクセスする方法を直接かつ継続的に制御できる」システムへと移行しています。これにより、管理者は標準の robots.txt 構文を使用して、ページ、ディレクトリ、またはサイトレベルでアクセスを管理できるようになります。

robots.txt ファイルをまだ導入していないサイトに対しては、Amazon はボットがサイトにアクセスする際に「標準的なウェブクロールの慣行」を引き続き遵守すると述べています。つまり、ボットは robots.txt ファイルに記載された 拒否 を尊重するようになりますが、ファイルが全く存在しないサイトのクロールを停止するわけではありません。

非遵守のコスト

robots.txt への移行は、攻撃的なスクレイピングが続いた時期の後であり、多くの中小規模サイト所有者にとって大きな運用負荷をもたらしました。この発表に関するコミュニティの議論は、Amazonbot の過去の行動がもたらした被害の規模を明らかにしています。

  • リソース枯渇: 一部のユーザーはボットからの膨大なトラフィックを報告しました。あるユーザーは、Amazonbot が単月で公開リポジトリに対して 750 GiB のトラフィックを消費したと主張したと述べました。
  • インフラの皮肉: 複数の開発者は、AWS インフラ上でサイトをホストしながら、Amazon の AI スクレイパーをブロックするために AWS WAF（Web Application Firewall）を使用しているという皮肉を指摘しました。
  • 非効率的なクロール: 一部のサイト所有者は、ボットがループに「はまって」nofollow タグを無視し、内部ページのバリエーションを大量にクロールし続け、結果的にサーバーに自己誘発型 DDoS 攻撃を仕掛けていると報告しました。

「紳士協定」問題

好意的なニュースにもかかわらず、技術コミュニティの多くは懐疑的です。根本的な問題は、robots.txt が技術的な強制手段ではなく、むしろ「紳士協定」であることです。あるコメント者は「現在、robots.txt は単なる紳士的礼儀に過ぎません。誰もそれに従う義務はありません」と指摘しています。

このプロトコルが任意であるため、サイト所有者は Anubis や Cloudflare のボット管理システムなどのツールに頼ってクローラーを強制的にブロックせざるを得ませんでした。たとえば Cloudflare は、robots.txt を尊重しつつ、悪意のあるまたは非遵守のボットを「深いブラックホール」へ誘導する仕組みを提供しています。

AI クローラーへの広範な影響

Amazon のこの動きは、AI 企業が大規模言語モデル（LLM）を訓練するためにウェブを積極的にスクレイピングするという、より大きなトレンドの一部です。コンテンツクリエイターのエコシステムとデータを収集する主体との摩擦は沸点に達しています。

「自己利益的」クロールの倫理性について疑問が提起されています。たとえば Amazon が自社のクラウドインフラ（AWS）上にホストされたウェブサイトをクロールすることで、サイト所有者の使用コストが増加しつつ、クローラーは自社の利益のためにデータを収集する可能性があります。

結論

robots.txt を尊重する方向への転換は、より良いウェブ市民性への歓迎すべき一歩ですが、サイトがクロールされないことを保証する唯一の方法はファイアウォールレベルでのハードブロックであるという現実は変わりません。開発者やサイト管理者にとって教訓は明確です：行儀の良いボットには robots.txt を使用し、攻撃的なボットに対しては WAF ルールを常に更新しておくことです。

Sources