fivetaku/insane-search

📚 insane‑search とは何か

insane‑search は、Claude Code プラグインであり、403エラー、CAPTCHA、WAFブロックなど、通常のHTTPリクエストではコンテンツが隠されているサイトでも、公開されているウェブページを読み取れるようにします。APIキーもプロキシ設定も不要で、自動的に複数段階の公開アクセス経路（フィード、公開API、TLS偽装curl、ヘッドレスブラウザ）を順に試行し、テキスト、メタデータ（OGP、JSON‑LD）、YouTube字幕などを取得します。

このリポジトリは、AIエージェント（Claude Code）のウェブ取得、要約、RAGスタイルのデータ収集能力を拡張することを目的とした本格的なソフトウェアプロジェクトです。

---

⚡ 導入方法

/plugin marketplace add https://github.com/fivetaku/gptaku_plugins.git
/plugin install insane-search@gptaku-plugins
/reload-plugins

上記3つのコマンドを実行すると、プラグインが準備完了です。新しいCLIを学ぶ必要はありません。通常通りClaudeに質問すれば、取得がブロックされた際に自動でプラグインが起動します。

---

🚀 主な機能

機能	内容
ゼロセットアップ	最初の使用時に必要なヘルパー（curl_cffi、yt‑dlp、PDFパーサーなど）を自動インストール。
マルチフェーズの段階的昇格	公開エンドポイント → 軽量プローブ → TLS偽装curl → 実際のヘッドレスブラウザの順に試行し、成功した時点で停止。
人間のようなブラウジング	完全なTLSフィンガープリント、クッキーのウォームアップ、リファラーのチェーンを使用し、リクエストが本物のブラウザのように見えるようにします。
隠しAPIの発見	ページの内部ネットワーク通信をキャプチャし、サイトが内部で返すJSONを再利用します。
広範なプラットフォーム対応	Reddit、X（Twitter）、YouTube、Hacker News、Naver、Coupang、LinkedIn、Medium、Substack、arXiv、GitHub、Stack Overflow、Bluesky、Mastodon、および公開ページ、フィード、/rssを持つすべてのサイト。
PDFおよびYouTube対応	ライズロードPDFパーサー（pdfplumber、pypdf）とyt‑dlpによるYouTube字幕抽出。
構造化出力	--json-content を指定すると、1回のリクエストでページ本文、メタデータ、診断トレースを含むJSON形式で返します。
認証壁の尊重	ログイン画面や課金壁を検出すると、「認証が必要」と報告し、回避を試みません。

---

🛠️ 一般的なワークフロー

1. Claudeに通常の質問を投げ、ウェブデータが必要な場合、例：
   • 「RedditでClaude Codeについて人々が何を言っているか調べ、トップスレッドを要約して。」
   • 「このYouTube動画を要約して。」
2. ClaudeがURLを取得しようとします。取得がブロックされた場合、insane‑searchが自動的に段階的昇格パイプラインを実行します。
3. プラグインは抽出されたテキスト（または字幕、PDFテキストなど）と発見されたメタデータを返します。
4. Claudeはそのコンテンツを使って、元の質問に回答します。

---

⛔ 制限と責任ある使用

• 公開のみ：ログイン画面や課金壁で停止。ログインも資格情報の保存も一切行いません。
• 法的遵守：各サイトの利用規約、robots.txt、レート制限、および現地法を尊重する必要があります。
• 二重使用に関する免責事項：リポジトリにはDISCLAIMER.mdがあり、許容される使用ポリシーが記載されています。

---

📄 ライセンス

MIT – 詳細はリポジトリのLICENSEおよびDISCLAIMER.mdをご覧ください。

---

TL;DR

insane‑search は、APIキーも手動設定も不要で、段階的に高度な取得方法を自動的に試行することで、Claude CodeのLLMが公開可能なすべてのウェブコンテンツを読めるようにするプラグインです。RAGパイプラインの構築や、最新のウェブ情報が必要なAIアシスタントワークフローに実用的なツールです。