fivetaku/insane-search

解決的問題

解決 AI 代理（特別是 Claude Code）在嘗試讀取公開網頁時，因 403 錯誤、Web 應用程式防火牆（WAF）、CAPTCHA 及反機器人措施而被阻擋的問題。讓代理能在不需 API 金鑰或使用者登入的情況下，存取 X、Reddit、YouTube 等平台的內容。

如何運作

此工具使用適應性升級管道來取得內容。若標準取得失敗，將依序嘗試以下階段：

1. 特殊公開端點：使用平台特定的 API 與資訊來源。
2. 輕量探測：嘗試公開 API 讀取器、聚合閘道與替代 URL 變體（例如行動版或 RSS）。
3. TLS 仿冒：使用 curl_cffi 模擬真實瀏覽器（Safari、Chrome、Firefox）的 TLS 指紋。
4. 無頭瀏覽器：對需要 JavaScript 渲染的頁面啟動真實無頭瀏覽器。

同時整合 yt-dlp 用於取得 YouTube 字幕與元資料，並掃描回應中的 OGP/JSON-LD，即使在部分頁面中也能提取結構化資料。

適用對象

需要使用 Claude Code 的開發者，希望其 AI 代理能可靠地研究公開網頁內容、社群媒體主題與影片轉錄，而無需手動管理代理或 API 憑證。

主要亮點

• 零設定：無需 API 金鑰或註冊；首次使用時自動安裝 curl_cffi 與 yt-dlp 等相依套件。
• 強韌取得：透過多種取得方式逐步升級，直到找到公開路徑為止。
• 廣泛平台支援：支援 X、Reddit、YouTube、Hacker News、LinkedIn、Medium 等多個平台。
• 嚴格邊界：僅存取公開內容，明確在登入牆或付費牆處停止。