Google 검색, SERP 스크래핑 방지를 위해 google.com/goto 리디렉션 URL 도입

Google 검색, 직접 URL 대신 불투명한 리디렉션으로 대체

Google 검색은 이제 유기적 결과 링크를 HTML에서 대상 URL을 직접 노출하는 대신 google.com/goto?url=...를 사용하도록 재작성하고 있습니다. 이 변경은 2026년 8월 말부터 로그아웃 및 비공개 브라우징 세션에서 일관되게 적용되었으며, 대상 URL을 오프라인에서 디코딩할 수 없는 Google 특유의 사용자 지정 인코딩으로 대체합니다.

실제 대상 URL을 검색하려면 클라이언트는 이제 /goto 엔드포인트에 요청을 보내고 HTTP 응답의 Location 헤더를 읽어야 합니다. 이러한 변화는 실제 URL이 Google 서버에 대한 요청 시에만 공개되도록 보장하며, 검색 엔진 결과 페이지(SERP) HTML에서 대량으로 추출할 수 없도록 합니다.

전략적 목표: SERP 수집 비용 증가

Google은 이러한 리디렉션을 자동화된 SERP 수집, 특히 결과 URL을 대량 추출하여 독립적인 인덱스를 구축하는 AI 크롤러와 SEO 스크래퍼를 대상으로 하는 광범위한 노력의 일환으로 구현하고 있습니다.

일반 텍스트 링크를 제거함으로써 Google은 스크래퍼가 추가 상호 작용 없이 단일 HTML 페이지에서 수천 개의 URL을 구문 분석할 수 있는 능력을 차단합니다. 새로운 시스템에서는 모든 결과에 대해 대상 주소를 확인하기 위해 Google에 별도의 요청이 필요합니다. 이로 인해 스크래핑은 훨씬 느리고, 더 시끄러워지며, 순차적 링크 해결 패턴을 통해 Google이 감지하기 쉬워집니다.

이번 업데이트는 다음과 같은 다른 제한 조치에 이어서 나온 것입니다:

이전에 사용자가 페이지당 100개의 결과를 볼 수 있게 했던 &num=100 매개변수 제거.
BotGuard 및 SearchGuard 기술 보호 강화.
SerpApi와 같은 SERP 제공업체에 대한 법적 조치.

개발자와 사용자에게 미치는 기술적 영향

자동화 도구에 미치는 영향

검색 기반 도구를 구축하는 개발자의 경우 goto 형식은 URL 추출 방식의 변경을 필요로 합니다. 권장되는 기술적 접근 방식은 /goto URL에 HEAD 요청을 수행하고 최종 대상으로 리디렉션을 따르지 않고 Location 헤더를 읽는 것입니다. 이렇게 하면 대상 페이지를 불필요하게 로드하지 않으면서 대상 URL을 얻을 수 있습니다.

최종 사용자에게 미치는 영향

링크를 클릭하는 일반 사용자의 최종 결과는 동일하지만, 커뮤니티에서는 몇 가지 부작용이 지적되었습니다:

링크 공유 불가: 사용자는 더 이상 SERP에서 직접 링크를 마우스 오른쪽 버튼으로 클릭하여 복사할 수 없으며, 대신 google.com/goto 리디렉션 링크를 복사하게 됩니다.
지연 시간 증가: 일부 사용자는 리디렉션 홉으로 인해 페이지 로딩 시 인지 가능한 지연을 보고합니다.
투명성 상실: 사용자는 클릭하기 전에 링크 위에 마우스를 올려 대상 URL을 확인할 수 없으므로 대상 사이트의 신뢰성을 확인하는 능력이 저하됩니다.

커뮤니티 관점 및 대안

난독화된 URL로의 전환은 Google이 디렉토리가 아닌 오라클 역할을 하는 "폐쇄된" 웹으로의 이동으로 보는 파워 유저와 개발자들 사이에서 상당한 비판을 불러일으켰습니다.

"사이트를 방문하지 않고 실제 URL을 확인할 수 있게 해주는 확장 프로그램이나, 페이지 전체를 재작성하여 URL을 표시해주는 확장 프로그램이 필요합니다."

많은 사용자는 보다 전통적인 인덱싱 동작을 유지하는 대체 검색 엔진에 대한 선호를 표명했습니다. 자주 언급되는 대안은 다음과 같습니다:

Kagi: 광고가 없고 사용자 중심적인 접근 방식으로 호평받는 유료 검색 엔진.
Brave Search: 자체 독립 인덱스를 보유한 것으로 알려짐.
DuckDuckGo: 개인 정보 보호를 원하는 사람들이 사용하지만, 일부 사용자는 결과 품질 저하를 지적했습니다.
Mojeek: 에이전트를 위한 실행 가능한 API 기반 대안으로 언급됨.

일부 사용자는 udm=web 매개변수가 전통적인 웹 결과를 반환하는 "이전" 동작을 여전히 제공할 수 있다고 제안하지만, 이는 문서화되지 않은 플래그로 남아 있습니다.