주거용 프록시의 부상과 웹 스크래핑과의 전쟁

주거용 프록시 스크래핑의 심화

웹사이트들은 자동화된 스크래퍼를 차단하는 데 점점 더 어려움을 겪고 있습니다. 봇들이 이제 주거용 프록시 네트워크를 통해 트래픽을 라우팅하고 있기 때문입니다. 쉽게 식별되고 차단될 수 있는 전통적인 데이터센터 IP와 달리, 주거용 프록시는 가정용 사용자에게 할당된 IP 주소를 사용하므로 봇 트래픽을 실제 인간 방문자와 구별하기 어렵게 만듭니다.

이러한 프록시 네트워크는 종종 미디어 스트리밍 박스와 같은 IoT 기기를 해킹하거나, 겉보기에 무해해 보이는 모바일 앱에 프록시 소프트웨어를 심는 방식으로 운영됩니다. 일단 설치되면, 이러한 기기들은 거대한 봇넷의 노드로 작동하며, 스크래퍼가 수백만 개의 주거용 IP를 교체하며 사용함으로써 속도 제한(rate limits)과 IP 기반 차단을 우회할 수 있게 합니다.

봇 완화 전략으로서의 작업 증명(Proof-of-Work)

주거용 프록시 트래픽의 양에 대응하기 위해, 일부 사이트 운영자들은 Anubis 프로젝트와 같은 작업 증명(Proof-of-Work, PoW) 요구 사항을 도입하고 있습니다. 인간에게 인지적 부담을 주는 전통적인 CAPTCHA 대신, PoW는 클라이언트의 브라우저가 사이트에 접속하기 전에 계산 집약적인 작업을 수행하도록 강제합니다.

PoW의 논리

PoW의 목적은 요청의 비용을 서버에서 클라이언트로 전가하는 것입니다. 인간 사용자에게 몇 초간의 CPU 사용은 사소한 불편함이지만, 수백만 건의 요청을 시도하는 스크래퍼에게는 엄청난 자원 소모가 됩니다. 만약 토큰이 연결된 IP에 결합된다면, 스크래퍼는 막대한 양의 컴퓨팅 자원을 사용하거나 IP 풀을 제한해야 하며, 이는 탐지를 더 쉽게 만듭니다.

논란과 비판

Anubis와 같은 PoW 도구의 사용은 기술 사용자들과 개인정보 보호론자들 사이에서 매우 논쟁적입니다:

• 멀웨어 분류: Free Software Foundation (FSF)은 사용자의 컴퓨터가 원치 않는 계산을 수행하도록 강제하는 것이 암호화폐 채굴과 유사하게 일종의 멀웨어라고 주장하며 Anubis를 비판했습니다.
• 사용자 경험: 일부 사용자들은 특히 엄격한 개인정보 보호 설정을 사용하는 브라우저를 사용할 때 Anubis를 사용하는 서비스를 완전히 이용하지 못하는 사례를 보고하고 있습니다.
• 기술적 군비 경쟁: 비판론자들은 PoW가 진행 중인 군비 경쟁의 또 다른 단계일 뿐이라고 주장합니다. 방대한 봇넷을 보유한 스크래퍼들은 해킹된 수백만 대의 기기에서 계산 부하를 분산할 수 있으므로, PoW의 효과를 무력화할 가능성이 있습니다.

웹 접근성에 대한 대안적 관점

사이트 소유자와 스크래퍼 사이의 갈등은 개방형 웹의 본질과 정보가 어떻게 접근되어야 하는지에 대한 더 넓은 논쟁을 불러일으켰습니다.

아카이빙과 Common Crawl을 위한 사례

일부에서는 공격적인 안티 스크래핑 조치가 개인적 용도나 연구를 위해 웹사이트를 아카이빙하려는 정당한 사용자들에게 피해를 준다고 주장합니다. AI 연구소들의 한계 이익을 줄이고, 웹이 Cloudflare와 같은 몇몇 대형 중개업자에 의해 통제되는 폐쇄적인 커뮤니티가 되는 것을 방지하기 위해, 웹 정보의 중앙 집중식 고품질 베이스라인인 "better common crawl"이 필요하다는 목소리가 나오고 있습니다.

경제적 모델과 마이크로 결제

기술적 장벽에 대한 대안으로 경제적 모델이 제안되었습니다. 일부는 마이크로 결제(예: 페이지당 $0.01 결제)를 방식이 정당한 접근을 허용하면서도 무분별한 스크래핑을 억제할할 수 있다고 제안합니다. 하지만 현재의 결제 처리 방식의 번거로움과 규제적 장벽은 이러한 시스템을 구현하는 데 있어 여전히 큰 장애물로 남아 있습니다.

탐지의 기술적 과제

주거용 프록시의 행동이 인간의 행동을 모방하는 경우가 많기 때문에 주거용 프록시를 식별하는 것은 여전히 어렵습니다.

"봇들은 보통 이미지나 CSS를 가져오지 않는 등의 특징이 있습니다. 하지만, 그러한 판단이 내려지는 시점에는 해당 주소는 더 이상 사용되지 않을 것입니다. 그 시점에 주소를 차단단는 것은 시간 낭비일 뿐입니다."

주거용 프록시 네트워크에서의 IP 주소의 이러한 일시적인 특점성(ephemeral nature)은, 사이트 소유자가 대응하기 전에 봇넷이 IP를 버리고 다른 것으로 교체하기 때문에 전통적인 블랙리스트 방식의 효과를 크게 떨어뜨립니다.