AI 봇 스크레이퍼 과부하로 인한 Gentoo Bugzilla 폐쇄

Gentoo 프로젝트는 AI 봇 스크레이퍼의 과부하로 인해 Bugzilla 인스턴스를 사용할 수 없게 됨에 따라 오프라인 상태로 전환했습니다. 이 결정은 유지 관리자인 Jesus Michał (@mgorny)에 의해 내려졌으며, 그는 필터링할 수 있는 명확한 패턴 없이 수천 개의 서로 다른 IPv4 주소를 사용하는 스크레이퍼들에게 계속해서 리소스를 제공하는 것은 의미가 없다고 밝혔습니다.

AI 스크레이핑이 자원봉사 운영 프로젝트에 미치는 영향

자원봉사자들에 의해 운영되는 많은 오픈 소스 프로젝트의 경우, 공격적인 스크레이핑에 맞서 인프라를 관리하는 비용과 노력이 지속 불가능한 수준에 이르고 있습니다. Gentoo Bugzilla의 폐쇄는 대규모 언어 모델(LLM) 학습에 자주 사용되는 자동화된 트래픽의 엄청난 양이 소규모 기술 인프라의 용량을 앞지르고 있는 광범위한 추세를 보여줍니다.

유지 관리자들은 프로젝트 개발 대신 시스템 관리와 봇 완화에 시간을 쏟아야 하는 상황에 대해 좌절감을 표명해 왔습니다. 한 커뮤니티 구성원이 언급했듯이, 이는 "자원봉사자로 운영되는 프로젝트들을 서서히 파괴하고 있습니다."

봇 완화의 기술적 과제

현대의 AI 스크레이퍼를 완화하는 것은 다음과 같은 진화하는 기술들 때문에 전통적인 웹 크롤러를 차단하는 것보다 훨씬 더 어렵습니다:

분산된 IP 로테이션

스크레이퍼는 더 이상 몇 개의 예측 가능한 IP 범위에 의존하지 않습니다. 대신, 이들은 수천 개의 로테이션되는 IPv4 주소와 주거용 프록시를 사용하여 유기적인 인간 트래픽을 모방합니다. 이로 인해 단일 IP 주소가 서버를 공격하지는 않지만, 수백만 개의 주소에서 발생하는 총 부하가 파괴적이기 때문에 단순한 IP 기반 차단은 효과가 없습니다.

단순 캐싱의 실패

일부에서는 단순한 캐싱을 해결책으로 제시하지만, Gentoo 팀은 버그 트래커가 본질적으로 동적이라는 점을 지적했습니다. 버그 트래커의 완전한 정적 버전을 구현하려면 모든 버그 보고서와 첨부 파일에 대해 정적 페이지를 생성하기 위한 상당한 개발 노력이 필요하며, 로그인한 사용자가 업데이트가 필요한 캐시 페이지의 "눈사태"를 생성하여 새로운 서비스 거부(DoS) 벡터를 유발할 잠재적 위험이 있습니다.

인프라 비용 및 WAF

KiCad와 같은 일부 프로젝트는 트래픽을 억제하기 위해 Cloudflare를 프런트엔드로 사용하여 부하를 관리해 왔습니다. 그러나 다른 유지 관리자들은 웹 애플리케이션 방화벽(WAF)이 적대적일 수 있다고 보고했습니다. 한 사용자는 남용 보고서를 제출하자마자 Linode의 WAF에 의해 차단되었다고 보고했습니다.

제안된 해결책 및 커뮤니티 논쟁

커뮤니티는 완전한 폐쇄에 대한 여러 대안을 논의해 왔으며, 이는 기술적 관문부터 법적 프레임워크에 이르기까지 다양합니다:

인증 관문(Authentication Gates): Hedgewars와 같은 일부 프로젝트는 메인 사이트에 공개된 자격 증명을 사용하여 기본 인증을 구현했습니다. 이 단순한 장벽은 이러한 사소한 인증 단계를 처리하도록 프로그래밍되지 않은 스크레이퍼들을 막아내는 데 효과적이라고 보고되었습니다.
작업 증명/채굴 관문(Proof-of-Work/Mining Gates): 사용자가 사이트에 접속하기 위해 소량의 암호화폐 채굴이나 계산 과제를 수행해야 하는 "Anubis 스타일"의 관문을 사용하는 제안이 있었습니다. 이는 접속 비용을 봇 운영자에게 효과적으로 전가합니다.
마이크로 결제(Micropayments): 일부는 인간 또는 유료 엔티티만 데이터에 액세스할 수 있도록 브라우저 기반 마이크로 결제(예: 버그 보고서당 5센트)를 통합할 것을 제안합니다.
포이즈닝 전략(Poisoning Strategies): 한 사용자는 Iocaine와 같은 도구를 사용하여 캐시된 쉽게 생성된 쓰레기 콘텐츠로 스크레이퍼 큐를 채움으로써 데이터를 "오염"시켜, 인간에게는 접근 가능하면서도 학습에는 무용지물이 되도록 만드는 방법을 제안했습니다.
법적 구제(Legal Recourse): 이것은 기술적인 문제가 아니라 법적인 문제라는 강력한 주장이 있습니다. 비판론자들은 DDoS와 유사한 스크레이핑이 불법이어야 하며, 유지 관리자가 이러한 봇 팜을 운영하는 엔티티를 상대로 법적 구제 수단을 가져야 한다고 주장합니다.

오픈 웹의 미래

이 사건은 인터넷의 "가두리 양식장(walled garden)" 추세에 대한 광범위한 논의를 촉발했습니다. 오픈 웹에 대한 공격적인 스크레이핑이 승인된 User-Agent(UA)만 허용되는 폐쇄적이고 독점적인 액세스 모델로 프로젝트들을 몰아넣고 있으며, 이는 결과적으로 개방적이고 익명적인 웹의 시대가 끝나는 것을 의미한다는 우려가 있습니다.