住居代理的兴起与反网络爬虫之战

住居代理爬虫的升级

由于机器人现在正通过住居代理网络路由流量，网站越来越难以拦截自动化爬虫。与容易被识别和拦截的传统数据中心 IP 不同，住居代理使用分配给家庭用户的 IP 地址，使得机器人流量与合法的真人访问者无法区分。

这些代理网络通常通过入侵 IoT 设备（例如媒体流媒体盒）或将代理软件嵌入看似无害的移动应用中来运行。一旦安装，这些设备就会成为庞大僵尸网络中的节点，允许爬虫在数百万个住居 IP 中进行轮换，从而绕过速率限制和基于 IP 的拦截。

为了应对住居代理流量的规模，一些网站运营商正转向工作量证明 (PoW) 要求，例如 Anubis 项目。与对人类而言认知负担较重的传统 CAPTCHA 不同，PoW 迫使客户端的浏览器在获得网站访问权限之前执行一项计算成本高昂的任务。

PoW 旨在将请求的成本从服务器转移到客户端。虽然几秒钟的 CPU 使用对于人类用户来说只是微小的麻烦，但对于试图发起数百万次请求的爬虫来说，它会变成巨大的资源消耗。如果令牌与连接的 IP 绑定，爬虫要么必须使用大量的计算资源，要么必须限制其 IP 池，从而使其更容易被检测到。

使用像 Anubis 这样的 PoW 工具在技术用户和隐私倡导者中极具争议：

恶意软件分类： 自由软件基金会 (FSF) 批评了 Anubis，认为迫使用户的计算机执行不需要的计算是一种恶意软件形式，类似于加密货币挖矿。
用户体验： 一些用户报告在使用 Anubis 时被完全锁在服务之外，特别是在使用具有严格隐私设置的浏览器时。
军备竞赛： 批评者认为，PoW 只是持续进行的军备竞赛中的又一步，并指出拥有庞大僵尸网络访问权限的爬虫可以将其计算负载分布在数百万台受损机器上，从而可能抵消 PoW 的有效性。

网站所有者与爬虫之间的斗争引发了关于开放网络本质以及信息应如何被访问的更广泛辩论。

有人认为，激进的反爬虫措施会伤害那些希望为个人使用或研究而存档网站的合法用户。有人呼吁建立一个“更好的 common crawl”——一个中心化的、高质量的 Web 信息基准——以减少 AI 实验室的边际优势，并防止 Web 变成由 Cloudflare 等少数大型中间商控制的封闭社区。

针对技术壁垒的替代方案包括经济手段。有人建议，微支付（例如，每页支付 $0.01）将阻碍盲目的爬虫行为，同时允许合法访问。然而，当前支付处理的摩擦和监管障碍仍然是实施此类系统的重大障碍。

识别住居代理仍然很困难，因为机器人的行为通常模仿人类。虽然有些机器人无法获取 CSS 或图像，但许多机器人正变得越来越复杂。

"机器人通常不会获取图像或 CSS，例如——但，在做出该判断时，该地址就会不再被使用。在那个点拦截该地址纯粹是浪费时间。"

住居代理网络中 IP 地址的这种瞬时性使得传统的黑名单机制在很大程度上是无效的，因为在网站所有者做出反应之前，该 IP 就会被僵尸网络丢弃。