TheNumbers.com 故障：AI 抓取与开放网络的脆弱性

TheNumbers.com 的最近不稳定和部分数据删除，是开放网络脆弱性的一个关键案例研究。该站点的困难说明了一个更广泛的系统性问题：免费的面向公众的数据资源正变得不可持续，因为 AI 代理和恶意行为者为了经济利益而利用它们，通常导致维护者承担基础设施成本。

AI 抓取与基础设施成本

AI 抓取者正在给小型网站维护者带来不可持续的财务负担。与传统搜索引擎爬虫不同，一些 AI 代理会逐页遍历搜索端点的每一个可能方面以下载原始 HTML，导致网络入站和出站流量成本大幅增加。

一位贡献者分享了运行一个追踪美国政府 COVID-19 补贴的网站的类似经历。尽管提供了一个免费的、10 GB 未压缩的数据集用于直接下载，AI 抓取者忽略了高效路径，而是下载了太字节级的原始 HTML。这导致每月网络费用约为 1,000 美元，尽管终生捐赠仅为 2,000 美元，该站点仍被迫关闭。

AI 与预测市场的交叉

除了基础设施成本之外，TheNumbers.com 的案例暗示了涉及财务激励的更深层次的安全风险。有人猜测，该站点的停机及随后以减少数据恢复可能是对恶意用户试图在官方发布之前获取特权数据访问的回应。

如果你能在其他人之前每周都看到 The Numbers 数据，你将相对于所有其他交易者拥有显著优势——提前获取答案略微领先于发布将使你能够抢先交易。

这创造了一个针对黑客攻击和“蒸馏攻击”的高激励环境，其目标不仅仅是抓取公开数据，而是渗透系统以在博彩市场中获得时间优势。

技术缓解策略

流量管理与机器人阻断

• CDN 实施： 使用感知机器人的 CDN 或类似 Cloudflare 的服务，作为阻断机器人流量的临时措施。
• Robots.txt 配置： 为已知的 AI 爬虫实施特定的 disallow 规则。常见目标包括 GPTBot（OpenAI）、ClaudeBot（Anthropic）和 Google-Extended（Google AI 训练）。
• 静态站点生成： 使用静态站点生成器重写网站的面向公众的部分，以减少服务器负载和成本。

经济与安全加固

• Proof-of-Work (PoW): 实施 PoW 挑战，使爬虫的钱包在计算上昂贵，从而阻止抓取。
• AI-Driven Audits: 使用 AI 工具审计现有代码以发现安全漏洞，并加固服务器以抵御漏洞。
• Data Distribution: 以压缩存档（例如 .zip 或 .tar.gz）形式提供数据，以 discourage 不 efficient 的 HTML 抓取，尽管有些人认为维护者对免费资源没有此类义务。

开放网络的未来

AI 实验室与独立数据提供者之间的冲突正导致信息发布方式的转变。创作者中越来越多的人认为，“免费网络”不再可行，因为独特内容被 AI 公司抓取并变现，而未将流量或收入返还给来源。

这一趋势表明可能转向全民付费墙和许可协议。如果 AI 公司继续通过使原始来源不可持续而破坏开放网络，他们最终可能被迫自行策划知识来源，这类似于 Amazon 管理实体店或 Netflix 制作自己的内容。