Gentoo Bugzilla 因 AI 機器人爬蟲過載而關閉

Gentoo 專案已將其 Bugzilla 實例下線，因為 AI 機器人爬蟲的過載導致其無法使用。此決定是由維護者 Jesus Michał (@mgorny) 做出的，他表示，對於使用數千個沒有明顯過濾模式的不同 IPv4 位址的爬蟲，繼續提供資源是沒有意義的。

AI 爬蟲對志願者經營專案的影響

對於許多由志願者運行的開源專案，應對激進爬蟲行為的管理基礎設施成本與精力正變得難以持續。Gentoo Bugzilla 的關閉說明了一個更廣泛的趨勢：自動化流量的巨大數量——通常用於訓練大型語言模型 (LLMs)——正超過小型技術基礎設施的承載能力。

維護者們表達了挫折感，因為他們被迫將時間花在系統管理和機器人緩解措施上，而不是專案開發。正如一位社群成員所指出的，這正在「緩慢地摧毀依靠志願者運行的專案」。

機器人緩解措施中的技術挑戰

由於幾種不斷演進的技術，緩解現代 AI 爬蟲比封鎖傳統網路爬蟲要困難得多：

分散式 IP 輪轉

爬蟲不再依賴少數可預測的 IP 範圍。相反，它們使用數千個輪轉的 IPv4 位址和住宅代理 (residential proxies) 來模仿有機的人類流量。這使得簡單的基於 IP 的封鎖變得無效，因為沒有單一 IP 位址會猛烈攻擊伺服器，但數百萬個位址的總體負載卻是毀滅性的。

簡單快取機制失效

雖然有人建議將簡單的快取作為解決方案，但 Gentoo 團隊指出，錯誤追蹤器 (bug tracker) 本質上是動態的。實施一個完全靜態版本的錯誤追蹤器將需要大量的開發工作來為所有錯誤報告和附件生成靜態頁面，並且這可能會引入新的阻斷服務 (DoS) 攻擊向量，即登入用戶會產生大量需要更新的快取頁面，形成「雪崩」效應。

基礎設施成本與 WAFs

某些專案，例如 KiCad，已透過使用 Cloudflare 作為前端來壓制流量，從而成功管理了負載。然而，其他維護者報告稱， Web Application Firewalls (WAFs) 可能具有敵意；一位用戶報告在提交濫用報告後立即被 Linode 的 WAF 封鎖。

提議的解決方案與社群討論

社群針對完全關閉的幾種替代方案進行了討論，範圍從技術門檻到法律框架：

身份驗證門檻 (Authentication Gates)： 一些專案，例如 Hedgewars，已實施了基本的身份驗證，並將憑據公開發布在他們的主站點上。據報導，這種簡單的屏障可以抵制那些沒有被編寫成處理如此簡單的身份驗證步驟的爬蟲。
工作量證明/挖礦門檻 (Proof-of-Work/Mining Gates)： 有人建議使用「Anubis-style」門檻，即用戶必須執行少量的加密貨幣挖礦或計算挑戰，才能訪問該網站，從而有效地將訪問成本轉嫁給機器人操作者。
微支付 (Micropayments)： 有人提議整合基於瀏覽器的微支付（例如，每個錯誤報告 5 美分），以確保只有人類或付費實體可以訪問數據。
毒化策略 (Poisoning Strategies)： 一位用戶建議使用像 Iocaine 這樣的工具來「毒化」數據，透過在爬蟲隊列中填充易於生成的垃圾內容並進行快取，使數據對訓練無效，同時保持對人類的可用性。
法律追訴 (Legal Recourse)： 有一個強力的論點認為這不是一個技術問題，而是法律問題。批評者認為，類似 DDoS 的爬蟲行為應該是違法的，且維護者應對這些機器人農場的操作實體擁有法律追訴權。

開放式網路的未來

此事件引發了關於網路「圍牆花園」趨勢的更廣泛討論。人們擔心，對開放式網路的激進爬蟲行為正在驅動專案走向封閉、專有的存取模型，其中僅允許經過認可的 User-Agents (UAs) 訪問，這實際上結束了開放、匿名網路的時代。