レジデンシャルプロキシの台頭とウェブスクレイピングとの戦い

レジデンシャルプロキシによるスクレイピングの激化

ウェブサイトは、自動化されたスクレイパーをブロックすることがますます困難になっています。これは、ボットが現在、レジデンシャルプロキシネットワークを通じてトラフィックをルーティングしているためです。容易に特定・ブロック可能な従来のデータセンターIPとは異なり、レジデンシャルプロキシは一般家庭のユーザーに割り当てられたIPアドレスを使用するため、ボットのトラフィックを正当な人間の訪問者と区別することができなくなっています。

これらのプロキシネットワークは、メディアストリーミングボックスなどのIoTデバイスを侵害したり、一見無害に見えるモバイルアプリにプロキシソフトウェアを埋め込んだりすることで運営されていることがよくあります。一度インストールされると、これらのデバイスは巨大なボットネット内のノードとして機能し、スクレイパーが数百万のレジデンシャルIPをローテーションさせることで、レート制限やIPベースのブロックを回避することを可能にします。

Proof-of-Workによるボット緩和戦略

レジデンシャルプロキシによるトラフィックの量に対抗するため、一部のサイト運営者は、AnubisプロジェクトのようなProof-of-Work (PoW) 要件の導入に転じています。人間に認知的な負荷を強いる従来のCAPTCHAの代わりに、PoWは、サイトへのアクセスを許可する前に、クライアントのブラウザに計算コストの高いタスクを実行させることを強制します。

PoWの背後にあるロジック

PoWは、リクエストのコストをサーバーからクライアントへと転換させることを目的としています。数秒間のCPU使用は人間のユーザーにとっては些細な不便に過ぎませんが、数百万のリクエストを行おうとするスクレイパーにとっては、膨大なリソースの消耗を招きます。もしトークンが接続IPに紐付けられている場合、スクレイパーは膨大な量の計算リソースを使用するか、IPプールを制限しなければならず、検知が容易になります。

論争と批判

AnubisのようなPoWツールの使用は、技術的なユーザーやプライバシー擁護派の間で非常に意見が分かれています。

• マルウェア分類: Free Software Foundation (FSF) は、Anubisを批判しており、ユーザーのコンピュータに望まない計算を強制することは、暗号資産のマイニングと同様のマルウェアの一種であると主張しています。
• ユーザーエクスペリエンス: 一部のユーザーは、特に厳格なプライバシー設定を使用しているブラウザを使用している場合、Anubisを使用しているサービスから完全に締め出されると報告しています。
• 軍拡競争: 批判的な人々は、PoWは進行中の軍拡競争の新たな一歩に過ぎないと主張しており、膨大なボットネットにアクセスできるスクレイパーは、侵害された数百万のデバイスに計算負荷を分散させることで、PoWの有効性を無効化できる可能性があると指摘しています。

ウェブアクセシビリティに関する代替的な視点

サイト所有者とスクレイパーの間の争いは、オープンなウェブの性質や、情報がどのようにアクセスされるべきかについてのより広範な議論を巻き起こしています。

アーカイブ化とCommon Crawlの事例

一部の主張では、攻撃的なアンチスクレイピング対策は、個人利用や研究のためにウェブサイトをアーカイブしようとする正当なユーザーに悪影響を及ぼすと述べています。ウェブ情報の中心的な高品質なベースラインである「より良いCommon Crawl」を構築することが、AIラボの相対的な優位性を減らし、ウェブがCloudflareのような少数の大規模な仲介者によって管理されるゲートコミュニティ化することを防ぐための呼びかけがあります。

経済モデルとマイクロペイメント

技術的な障壁に代わるものとして、経済的な障壁が提案されています。一部では、マイクロペイメント（例：1ページあたり$0.01を支払う）によって、無差別なスクレイピングを抑制しつつ、正当なアクセスを可能にすることが提案されています。しかし、現在の決済処理の摩擦や規制上のハードルが、このようなシステムの導入における大きな障害となっています。

検知における技術的な課題

ボットの挙動がしばしば人間に似ているため、レジデンシャルプロキシの特定は依然として困難です。一部のボットはCSSや画像をフェッチしていないことがありますが、多くのボットはより洗練されたものになっています。

"ボットは通常、例えば画像やCSSをフェッチしません。しかし、その判断が下されたときには、対象のアドレスは二度と使用されません。その時点でアドレスをブロックすることは、単なる時間の無駄です。"

レジデンシャルプロキシネットワークにおけるIPアドレスの刹那的な性質は、従来のブラックリスト方式をほぼ無効にしています。なぜなら、IPはサイト所有者が反応する前にボットネットによって破棄されるからです。