Residential Proxy 的興起與對抗網路爬蟲的戰鬥

Residential Proxy 爬蟲行為的升級

網站越來越難以封鎖自動化爬蟲，因為機器人現在正透過 residential proxy 網路進行流量路由。與容易被識別和封鎖的傳統資料中心 IP 不同，residential proxy 使用分配給家庭用戶的 IP 地址，使得機器人流量與合法的真人訪客無法區分。

這些代理網路通常透過入侵 IoT 設備（例如媒體串流盒）或將代理軟體嵌入看似無害的行動裝置 App 中來運作。一旦安裝，這些設備就會成為龐大機器人網路中的節點，讓爬蟲能夠輪換使用數百萬個 residential IP，從而繞過速率限制和基於 IP 的封鎖。

為了對抗大量的 residential proxy 流量，一些網站營運商正轉向使用 Proof-of-Work (PoW) 要求，例如 Anubis 專案。與對人類而言具有認知負擔的傳統 CAPTCHA 不同，PoW 強制客戶端的瀏覽器在獲得網站存取權限之前，先執行一項計算密集型任務。

PoW 旨在將請求的成本從伺服器轉移到客戶端。雖然幾秒鐘的 CPU 使用率對人類用戶來說只是微小的困擾，但對於試圖發送數百萬次請求的爬蟲來說，這將成為巨大的資源消耗。如果 token 綁定到連接的 IP，爬蟲就必須使用大量的運算能力，或者限制其 IP 池，這會讓它們更容易被偵測。

使用像 Anubis 這樣的 PoW 工具在技術用戶和隱私倡導者之間引起了高度兩極分化的看法：

惡意軟體分類： Free Software Foundation (FSF) 批評了 Anubis，認為強制使用者的電腦執行非自願的計算是一種惡意軟體形式，類似於加密貨幣挖礦。
使用者體驗： 一些用戶回報在使用 Anubis 時完全無法使用服務，特別是當使用具有嚴格隱私設定的瀏覽器時。
軍備競賽： 批評者認為 PoW 只是持續進行的軍備競賽中的另一個步驟，並指出擁有龐大機器人網路的爬蟲可以將計算負載分佈到數百萬台受侵害的機器上，從而可能抵消 PoW 的有效性。

網站所有者與爬蟲之間的鬥爭引發了關於開放網路的本質以及資訊應如何被存取的廣泛辯論。

有些人認為，激進的防爬蟲措施會損害那些希望為個人使用或研究而存檔網站的合法用戶。目前有人呼籲建立一個「更好的 common crawl」——一個集中化、高品質的網路資訊基準線——以減少 AI 實驗室的邊際優效，並防止網路變成由 Cloudflare 等少數大型中間商控制的封閉社群。

技術障礙的替代方案包括經濟障礙。有些人建議，微支付（例如每頁支付 $0.01）可以阻礙無意識的爬蟲行為，同時允許合法存取。然而，目前的支付處理摩擦和監管障礙仍然是實施此類系統的重大障礙。

識別 residential proxy 仍然很困難，因為機器人的行為往往模仿人類。雖然有些機器人無法獲取 CSS 或圖片，例如，但許多機器人正變得越來越精細化。

"對於例如機器人通常不會獲取圖片或 CSS 的情況——但，在做出該判斷時，該地址就會不再被使用。在此時封鎖該地址純粹是浪費時間。"

Residential proxy 網路中 IP 地址的這種瞬時性使得傳統的黑名單機制在很大程度上是無效的，因為在網站所有者做出反應之前，IP 就已被機器人網路捨棄了。