TheNumbers.comの停止：AIスクレイピングとオープンウェブの脆弱性

TheNumbers.comの最近の不安定さと部分的なデータ削除は、オープンウェブの脆弱性における重要な事例研究となっています。サイトの苦闘は、より広範なシステム的問題を示しています：無料で公開向けのデータリソースは、AIエージェントと悪意のあるアクターが金銭的利得のためにそれらを悪用することにより持続不可能になっており、しばしばメンテナンス担当者がインフラストラクチャコストを負担することになります。

AIスクレイピングとインフラストラクチャコスト

AIスクレイパーは、小規模なウェブサイトメンテナンサーに持続不可能な財政的負担をもたらしています。従来の検索エンジンクローラーとは異なり、一部のAIエージェントは、検索エンドポイントのあらゆる可能な側面をページネーションして生HTMLをダウンロードし、ネットワークの ingress と egress コストを大幅に増加させています。

ある貢献者は、米国政府のCOVID-19給付金を追跡するサイトを運営していた際に同様の経験を共有しました。直接ダウンロード用の無料の10GB未圧縮データセットを提供していたにもかかわらず、AIスクレイパーは効率的なパスを無視し、代わりにテラバイト単位の生HTMLをダウンロードしました。これにより、月間のネットワーク請求額が約1,000ドルとなり、総計でわずか2,000ドルの寄付しか受け取っていないにもかかわらず、サイトを閉鎖せざるを得なくなりました。

AIと予測市場の交差点

インフラストラクチャコストだけでなく、TheNumbers.comの事例は金銭的インセンティブを含むより深いセキュリティリスクを示唆しています。サイトのダウンタイムとその後のデータ削減版での復帰は、公式公開前にデータへの特権的アクセスを得ようとする悪意のあるユーザーへの対応だった可能性があると推測されています。

もし皆より先にThe Numbersのデータを見ることができたら、毎週他のすべてのトレーダーに対して大きな優位性を得られるでしょう - 公表前にわずかに答えを学ぶことで、トレードを先取りすることができます。

これにより、ハッキングと「蒸留攻撃」のための高いインセンティブ環境が生まれます。ここでの目的は、単に公開データをスクレイプすることではなく、賭け市場における時間的優位性を得るためにシステムに侵入することです。

技術的緩和戦略

トラフィック管理とボットブロック

• CDN Implementation: ボット対応のCDNやCloudflareなどのサービスを利用して、ボットトラフィックをブロックするための暫定的な手段とする。
• Robots.txt Configuration: 既知のAIクローラーに対する特定のdisallowルールを実装する。一般的なターゲットには GPTBot (OpenAI)、ClaudeBot (Anthropic)、および Google-Extended (Google AIトレーニング) が含まれる。
• Static Site Generation: 静的サイトジェネレーターを使用してサイトの公開向け部分を書き換え、サーバー負荷とコストを削減する。

経済的およびセキュリティの強化

• Proof-of-Work (PoW): クローラーのウォレットにとって計算コストが高くなるようなPoWチャレンジを実装し、スクレイピングを抑止する。
• AI-Driven Audits: AIツールを使用して既存のコードのセキュリティホールを監査し、脆弱性に対してサーバーを強化する。
• Data Distribution: データを.zipや.tar.gzなどの圧縮アーカイブとして提供し、非効率的なHTMLスクレイピングを抑止する。ただし、一部の意見では、無料リソースに対してメンテナンサーがそのような義務を負う必要はないと主張している。

オープンウェブの未来

AIラボと独立したデータプロバイダーの間の対立は、情報の公開方法の変化をもたらしています。クリエイターの間では、独自のコンテンツがAI企業によってスクレイプされ、収益化される一方で、トラフィックや収益がソースに還元されないため、「フリーウェブ」はもはや持続可能ではないという認識が高まっています。

この傾向は、ユニバーサルペイウォールとライセンス契約への移行を示唆しています。AI企業が元のソースを持続不可能にすることでオープンウェブを破壊し続ける場合、最終的にAmazonが物理店舗を管理したり、Netflixが独自のコンテンツを制作するように、自社の知識ソースをキュレートすることを余儀なくされる可能性があります。