智能电视与 AI 抓取经济:Bright Data SDK 将设备变为代理

消费电子产品,尤其是智能电视和移动应用,正通过充当住宅代理被整合进全球的“AI 抓取经济”。通过嵌入特定的 SDK,像 Bright Data 这样的公司可以将第三方网页抓取流量通过用户的家庭 IP 地址进行路由,使抓取流量看起来像合法的住宅用户活动,从而避免被目标网站检测。

代理 SDK 的技术实现

代理功能通过一个 SDK 实现,该 SDK 与指挥控制(C&C)服务器建立持久连接。

连接与路由

SDK 获取配置后,会打开到 wss://proxyjs.brdtnet.com:443 的持久 WebSocket 连接。该主机名解析为 AWS Global Accelerator 的 IP 地址。用于这些连接的 TLS 证书为 CN=*.luminatinet.com,指向 Luminati Networks,这是 Bright Data 在 2018 年之前的公司名称。

通过接口选择绕过 VPN

在 iOS 设备上,SDK 可以显式绕过用户配置的 VPN。SDK 配置中包含标志 "use_netifs": true,该标志会触发代码构建网络连接(NWConnection),使用特定的必需接口——en0(WiFi)或 pdp_ip0(蜂窝)——而不是系统默认路由。这确保代理隧道不会经过大多数 VPN 使用的 tun0 接口,从而有效地将代理流量隐藏在用户的 VPN 监控工具之外。

对终端用户的风险

将消费设备变为住宅代理会给设备所有者带来显著的安全和法律风险。

法律与取证风险

由于设备的 IP 地址被用于为第三方获取数据,目标网站看到的就是该 IP 地址的所有者。这导致一种风险:通过代理进行的非法活动可能被归咎于家庭用户。正如社区成员所指出的:

想象一下,警察因发现你在传播儿童色情而敲开你的门,而实际的罪犯是使用你的电视作为代理进行儿童色情交易的人。

资源消耗

作为网络节点的设备会消耗带宽和系统资源。用户报告称,即使智能电视未被人主动使用,也会出现网络流量显著激增以及来自智能电视的 DNS 查询被阻断的情况。

检测与缓解策略

防止设备参与抓取经济需要网络层面的阻断与硬件选择相结合。

网络层防御

  • DNS 阻断和 SNI 过滤: 阻断对已知 Bright Data 端点(如 *.brdtnet.com*.luminatinet.com)的请求可以中断 C&C 连接。然而,一些专家警告这些端点可能会频繁轮换以规避检测。
  • 防火墙: 实施严格的防火墙,阻止智能电视访问外部互联网,同时允许本地控制(例如通过 HomeAssistant),是中和 SDK 的有效方法。
  • 网络监控: 使用诸如 AdGuard 或 DNS 日志等工具可以帮助识别产生异常大量出站请求的设备。

硬件与配置

  • 隔离智能功能: 有用户建议将智能电视视为“哑”显示器,仅使用 HDMI 输入,并拒绝将电视本身连接到 WiFi。
  • 应用审计: 研究表明,数十款 iOS 应用可能包含 brdsdk.framework。用户可以通过审计已安装软件中的 SDK 来潜在识别这些应用。

对网络基础设施的更广泛影响

住宅代理网络的兴起在抓取者与网站运营者之间形成了一场“猫捉老鼠”的博弈。由于流量来源于住宅 IP,基于 IP 信誉的传统机器人检测方法效果下降。这导致来自住宅代理的流量增加,可能压垮小型网站,进而催生对抗住宅来源抓取的更强防御需求。

Sources