Cloudflare는 Search, Agent, Training 사용 사례에 대한 새로운 AI 트래픽 컨트롤을 도입합니다

개요

Cloudflare는 Search, Agent, Training 크롤러에 대한 세분화된 AI 트래픽 컨트롤을 도입했으며, 광고를 표시하는 페이지에서 Training 및 Agent 봇을 차단하는 새로운 기본 설정을 도입하고, 모든 고객을 위한 BotBase 및 콘텐츠 사용 신호와 같은 가시성 도구를 추가했습니다.

AI 트래픽에 대한 실용적 분류

Cloudflare는 봇 행동을 기반으로 세 가지 핵심 AI 사용 사례를 정의합니다: Search (나중에 질문에 답변하기 위해 콘텐츠를 수집하거나 색인 생성), Agent (작업을 완료하기 위해 개인을 대신하여 실시간으로 행동), Training (모델을 훈련하거나 미세 조정하기 위해 콘텐츠를 크롤링). 봇은 이러한 행동 중 하나 이상으로 분류될 수 있으며, 이 분류는 운영자가 목적을 기준으로 크롤러를 분리하여 더 높은 투명성을 얻도록 장려합니다.

AI 트래픽 관리를 위한 새로운 컨트롤

고객은 이제 Search, Agent, Training 크롤러를 독립적으로 허용하거나 차단할 수 있습니다. 이러한 옵션은 이전의 단일 “AI 봇 차단” 프리셋을 대체하며, Free를 포함한 모든 Cloudflare 티어에서 사용할 수 있습니다. 컨트롤은 Bot Management 영역의 zone Settings에 표시됩니다.

2026년 9월 15일 효력 발생하는 새로운 기본 설정

Cloudflare에 온보딩되는 새로운 도메인에 대해, 광고를 표시하는 페이지에서는 Training 및 Agent 봇이 기본적으로 차단되며, Search는 기본적으로 허용됩니다. 그 이유는 광고가 수익화 가능한 인간 중심 페이지를 나타내므로, 해당 주의를 방해할 수 있는 봇이 제한되기 때문입니다. 다목적 크롤러(예: Googlebot, Applebot, BingBot)는 적용 가능한 가장 제한적인 규칙의 적용을 받게 되므로, 사이트 소유자가 Training을 차단하면 해당 크롤러는 Search도 수행하더라도 차단됩니다. 사이트 소유자는 2026년 9월 15일 이전에 Security 설정을 통해 이러한 기본 설정을 선택 해제할 수 있으며, Cloudflare는 upcoming 변경 사항에 대해 고객에게 알릴 것입니다.

엔터프라이즈를 위한 BotBase 가시성

엔터프라이즈 Bot Management 고객은 알려진 모든 봇(검증된 봇 및 에이전트 포함)의 검색 가능한 디렉터리인 BotBase를 받습니다. BotBase는 각 봇의 분류(Search, Agent, Training, Transact, 데이터 수집, 보안 테스트, SEO, 광고 검증, 소셜/링크 미리보기, 피드 가져오기, 모니터링 및 작업)를 보여주며, 사용자는 특정 봇별로 트래픽을 필터링하고, 탐지 ID를 복사하며, 보안 규칙을 생성할 수 있습니다. 이 기능은 Bot Management 구성 카드 내에서 라이브 상태입니다.

콘텐츠 사용 신호 및 robots.txt 확장

Cloudflare는 robots.txt에 use 신호를 추가하여 봇이 크롤링된 콘텐츠를 어떻게 저장하고 재공유할 수 있는지 나타냅니다: immediate (상호작용하지만 아무것도 저장하지 않음), reference (기본값; 색인, 추출, 링크 백), 또는 full (요약 및 재생산). 이 신호는 선택적 네 번째 필드를 가진 기존 Content Signals를 확장합니다. 이미 관리형 robots.txt를 사용하는 고객에게 Cloudflare는 자동으로 use=reference를 추가합니다. 선언된 사용 수준을 위반하는 봇은 Verified 상태를 잃을 수 있습니다.

업데이트된 Verified 봇 정의

Verified 라벨은 더 이상 “기본적으로 허용됨”을 의미하지 않습니다. 대신, Verified 봇은 분류된 카테고리에 대해서만 허용됩니다(예: Search가 허용된 경우 Verified Search 봇은 허용될 수 있음). 검증은 이제 운영자가 자신을 정직하게 대표하고 획득한 접근을 남용하지 않도록 요구합니다. Cloudflare는 운영자가 정확한 표현을 보장할 수 있도록 관리 도구를 구축하고 있습니다.

전이적 신뢰 실험

Cloudflare는 중개자를 통해 신뢰를 전파하기 위해 Forwarded 헤더(RFC 7239)를 사용하는 것을 제안합니다. 사이트 소유자의 선호도(예: 선택적 use= 매개변수가 있는 "이 운영자 허용))는 신뢰할 수 있는 프록시 계층을 통해 요청이 도착하더라도 존중됩니다. 이 접근 방식은 한계를 인정합니다: 개인 정보 보호 트래픽과 작은 소스는 혜택을 받지 못할 수 있으며, 그러한 경우에 프라이빗 레이트 limiting과 같은 대안이 제안됩니다.

커뮤니티 반응 (Hacker News 댓글)

댓글 작성자들은 여러 가지 영향과 우려를 지적했습니다:

  • @simonw는 Google이 검색 인덱싱 및 Gemini 훈련에 동일한 크롤러 인프라를 사용하기 때문에, “학습 차단” 옵션을 활성화한 사이트의 경우 Googlebot이 2026년 9월 15일부터 차단될 것이라고 관찰했습니다.
  • @tekacs는 이 조치를 "피곤하게 만든다"고 묘사했으며, Agent 봇이 동시에 차단됨에 따라 Cloudflare에서 에이전트를 구축하는 것이 모순적으로 느껴진다고 말했습니다.
  • @guyn은 AI 훈련 차단이 Google 검색 봇도 차단함에 따라 그의 검색 트래픽이 절반으로 줄어들었다고 보고했습니다.
  • @graeme는 pay‑per‑crawl 프로그램에 대한 업데이트를 요청했습니다.
  • @zzzeek은 pay‑per‑crawl 링크가 여전히 "접근 요청" 버튼만 보여주고 누가 접근 권한이 있는지 표시하지 않아 불만을 표했습니다.
  • @sneak은 기술적으로 색인을 허용하면서 훈련을 방지하는 것은 불가능하다고 주장하며, 그러한 주장을 하는 기술을 오해의 소지가 있다고 불렀습니다. 이러한 의견은 통제, 발견 가능성, 그리고 새로운 기본 설정이 검색 트래픽과 봇 생태계에 미치는 실제 영향 사이의 trade‑offs를 강조합니다.

Sources

관련