Cloudflare、Search、Agent、Trainingのユースケースに対応した新しいAIトラフィック制御を導入

概要

Cloudflareは、Search、Agent、Trainingクローラー向けのきめ細かなAIトラフィック制御をロールアウトしました。また、広告が表示されるページでTrainingおよびAgentボットをブロックする新しいデフォルト設定を導入し、すべての顧客向けにBotBaseやコンテンツ使用シグナルなどの可視化ツールを追加しました。

AIトラフィックのための実用的な分類

Cloudflareは、ボットの動作に基づいて3つの主要なAIユースケースを定義しています：Search（質問に答えるためにコンテンツを収集またはインデックス化する）、Agent（タスクを完了するために人の代理としてリアルタイムで行動する）、Training（モデルのトレーニングまたは微調整のためにコンテンツをクロールする）。ボットはこれら1つ以上の動作に分類される場合があり、この分類法は、透明性を高めるためにオペレーターがクローラーを目的に応じて分離することを推奨しています。

AIトラフィックを管理するための新しい制御機能

顧客は 이제 Search、Agent、Trainingクローラーを個別に許可またはブロックできるようになります。これらのオプションは、従来の単一の「Block AI bots」プリセットに代わるもので、Freeを含むすべてのCloudflareティアで利用可能です。制御設定は、ゾーンのSettings内のBot Managementに表示されます。

2026年9月15日から適用される新しいデフォルト設定

Cloudflareに新たにオンボーディングするドメインについては、広告が表示されるページでTrainingおよびAgentボットがデフォルトでブロックされ、Searchはデフォルトで許可されたままとなります。その理由は、広告が収益化可能な人間中心のページであることを示しており、そのアテンションを妨げる可能性のあるボットを制限する必要があるためです。多目的クローラー（例：Googlebot、Applebot、BingBot）には、適用可能な最も制限的なルールが適用されます。したがって、サイト所有者がTrainingをブロックした場合、それらのクローラーがSearchも実行している場合でもブロックされます。 サイト所有者は、2026年9月15日より前にSecurity設定を通じてこれらのデフォルト設定をオプトアウトでき、Cloudflareは顧客に今後の変更を通知します。

Enterprise向けのBotBase可視化

Enterprise Bot Managementの顧客は、Verifiedボットやエージェントを含む、既知のすべてのボットの検索可能なディレクトリであるBotBaseを利用できます。BotBaseは、各ボットの分類（Search、Agent、Training、Transact、Data Collection、Security Testing、SEO、Ads Verification、Social/Link Preview、Feed Fetching、Monitoring & Operations）を表示し、ユーザーが特定のボットでトラフィックをフィルタリングしたり、検出IDをコピーしたり、セキュリティルールを作成したりすることを可能にします。この機能は、Bot Managementの構成カード内で利用可能です。

コンテンツ使用シグナルとrobots.txtの拡張

Cloudflareは、ボットがクロールしたコンテンツをどのように保存・再共有できるかを示すuseシグナルをrobots.txtに追加します：immediate（対話するが何も保存しない）、reference（デフォルト；インデックス化、抜粋、リンクバック）、またはfull（要約および複製）。このシグナルは、オプションの第4フィールドによって既存のContent Signalsを拡張します。すでに管理されたrobots.txtを使用している顧客に対しては、Cloudflareは自動的にuse=referenceを付記します。宣言された使用レベルに違反するボットは、Verifiedステータスを失う可能性があります。

更新されたVerified Botの定義

Verifiedラベルは、もはや「デフォルトで許可」を意味するものではありません。代わりに、Verifiedボットは、それが分類されているカテゴリに対してのみ許可されます（例：Searchが許可されている場合、Verified Searchボットのみが許可される可能性があります）。検証には、オペレーターが自身を誠実に表明し、得られたアクセスを悪用しないことが求められます。Cloudflareは、オペレーターが正確な表明を行えるよう、管理ツールの構築を進めています。

転送信頼性（Transitive Trust）の実験

Cloudflareは、仲介者を通じて信頼を伝播させるためにForwardedヘッダー（RFC 7239）を使用することを提案しています。サイト所有者の設定（例：オプションのuse=パラメータを伴う「このオペレーターを許可する」）は、リクエストが複数の信頼されたプロキシを経由して到着した場合でも尊重されます。このアプローチには限界があることが認められています。プライバシー保護トラフィックや小規模なソースには恩恵がない可能性があり、それらのケースにはプライベートなレート制限などの代替案が示唆されています。

コミュニティの反応 (Hacker Newsのコメント)

コメント投稿者は、いくつかの影響と懸念を指摘しました：

• @simonw は、Googleは検索インデックス作成とGeminiのトレーニングに同じクローラーインフラを使用しているため、「block training」オプションを有効にしているサイトでは、2026年9月15日からGooglebotがブロックされるだろうと指摘しました。
• @tekacs は、この動きを「疲れ果てるもの」と表現し、Agentボットを同時にブロックしている状況では、Cloudflare上でエージェントを構築することが矛盾しているように感じると述べました。
• @guyn は、AIトレーニングをブロックしたことで、Google検索ボットもブロックされ、検索トラフィックが半分になったと報告しました。
• @graeme は、pay-per-crawlプログラムのアップデートを求めました。
• @zzzeek は、pay-per-crawlのリンクが、誰がアクセス権を持っているかの表示がなく、依然として「request access」ボタンしか表示されないことに不満を表明しました。
• @sneak は、技術的にインデックス作成を許可しながらトレーニングを防止することは不可能であり、そう主張する技術は誤解を招くと主張しました。 これらの意見は、制御、発見可能性、および新しいデフォルト設定が検索トラフィックとボットのエコシステムに与える実質的な影響との間のトレードオフを浮き彫りにしています。