fivetaku/insane-search

何を解決するか

AIエージェント（特にClaude Code）が、公開Webページを読み取ろうとする際に403エラー、Webアプリケーションファイアウォール（WAF）、CAPTCHA、およびその他のボット検出メカニズムによってブロックされる問題を解決します。X、Reddit、YouTubeなどのプラットフォームからAPIキーまたはユーザー認証なしにコンテンツにアクセスできるようにします。

動作方法

このツールは、適応型の段階的エスカレーションパイプラインを使用してコンテンツを取得します。標準的な取得が失敗した場合、以下のフェーズを順に試行します：

1. 特別な公開エンドポイント：プラットフォーム固有のAPIやフィードを使用します。
2. 軽量プローブ：公開APIリーダー、サインデーションゲートウェイ、および代替URLバリアント（例：モバイル版やRSS）を試します。
3. TLSインポシション：curl_cffi を使用して、実際のブラウザ（Safari、Chrome、Firefox）のTLSフィンガープリントを模倣します。
4. ヘッドレスブラウザ：JavaScriptレンダリングが必要なページ用に、実際のヘッドレスブラウザを起動します。

また、yt-dlp を使ってYouTubeの字幕とメタデータを取得し、応答からOGP/JSON-LDをスキャンして、部分的なページからも構造化データを抽出します。

対象ユーザー

Claude Codeを使用し、公開Webコンテンツ、ソーシャルメディアスレッド、動画トランスクリプトを信頼性高く調査する必要がある開発者。

特徴

• ゼロセットアップ：APIキーまたは登録は不要。初回実行時に curl_cffi や yt-dlp などの依存関係を自動インストールします。
• 強靭な取得：複数の取得方法を段階的に試行し、公開ルートが見つかるまで継続します。
• 広範なプラットフォーム対応：X、Reddit、YouTube、Hacker News、LinkedIn、Mediumなど、多数のプラットフォームで動作します。
• 厳格な境界：公開コンテンツのみにアクセスし、ログイン壁や課金壁では明確に停止します。