Fortress: ステルスブラウザ自動化のための改造Chromiumブラウザ

Fortressは、ボット検知システムによってブロックされないように設計された、Chromiumの改造版です。ブラウザ内部のC++コードを変更することで、Fortressはブラウザ指紋を変え、自動化エージェントが訪問先のウェブサイトに対して正規の普通のChromeインストールとして見えるようにします。

Fortressがボット検知を回避する方法

Fortressは、ChromiumのC++ソースコード内でブラウザ指紋を修正することで機能します。ほとんどのボット検知システムはブラウザ指紋を読み取って自動化を識別しますが、Fortressは自動化ツールをフラグ付けする典型的な指標を除去し、ブラウザが標準的なChromeインストールとして振る舞うようにします。この手法は、人間ユーザーと自動スクリプトを区別するためにボット検知サービスが使用する指紋技術を対象としています。

ブラウザ自動化における技術的課題

指紋取得が主要なハードルである一方、ブラウザ自動化は単に検知を回避するだけではない追加の技術的複雑さに直面しています。コミュニティメンバーが指摘するように、初期のブロックを回避することは問題の一部に過ぎず、エージェントは返されたページが実際のコンテンツか、サイトの劣化版か、あるいはボットを罠にかけるための無音チャレンジページかを判断できなければなりません。

スクレイピングの倫理と影響に関するコミュニティ議論

Fortressのリリースは、開発者やサイト管理者の間で大きな倫理的議論を呼んでいます。議論は、データ抽出への欲求とウェブサイト所有者に課される負担との間の対立に焦点を当てています。

小規模ウェブサイト所有者への影響

複数の貢献者は、ステルススクレイピングツールがウェブサイトの維持コストと複雑さを増大させると主張しています。

"私たちのようにこれらのサイトを維持しなければならない人々がいて、数年にわたる悪夢のようなスクレイパーやボットネットに悩まされています... すべてのウェブサイトが、膨大なリソースを吸収できる数十億/数兆ドル規模の企業に支えられているわけではありません。"

批評家は、これらのツールがボットにサイトを執拗に叩き続けさせ、小規模運営者がボットトラフィックのためにサイトを閉鎖せざるを得なくなるほどホスティングコストが上昇すると指摘しています。

デバイス認証の軍拡競争

一部の開発者は、ステルスブラウザの普及が技術的な軍拡競争を引き起こすと警告しています。懸念は、ボット検知が高度化するにつれて、業界がウェブアクセスを維持するために、デバイスが正当なハードウェアであることを暗号的に証明しなければならない必須のデバイス認証へと向かう可能性があるということです。

"最終的な結果は、ボットによるDDoSを回避しようとするサイトを自由にスクレイプできるようになることではなく、むしろ私たち全員が実質的にオンラインで何かを行うためにデバイス認証が必要な世界に陥ることになるでしょう。"

データアクセスへの代替アプローチ

ステルス手法とは対照的に、ウェブサイトはスクレイピングによって生成される全体的なトラフィックを削減するために、標準化された低インパクトなデータアクセス手段を提供すべきだと提案する人もいます。提案の一つとして、標準化されたサブページ（例：example.com/scrape）でサイトデータの月次更新トレントを提供し、ライブサーバへの影響を最小限に抑えることが挙げられます。