fivetaku/insane-search

解决的问题

解决 AI 代理（特别是 Claude Code）在尝试读取公开网页时被 403 错误、Web 应用防火墙（WAF）、CAPTCHA 和反机器人措施阻止的问题。使代理能够无需 API 密钥或用户登录即可访问 X、Reddit、YouTube 等平台的内容。

工作原理

该工具使用自适应的分级提升管道来获取内容。如果标准获取失败，将按顺序尝试以下阶段：

1. 特殊公开端点：使用平台特定的 API 和信息源。
2. 轻量探测：尝试公开 API 读取器、聚合网关和替代 URL 变体（例如移动版或 RSS）。
3. TLS 伪装：使用 curl_cffi 模拟真实浏览器（Safari、Chrome、Firefox）的 TLS 指纹。
4. 无头浏览器：对需要 JavaScript 渲染的页面启动真实无头浏览器。

它还集成 yt-dlp 用于获取 YouTube 字幕和元数据，并扫描响应中的 OGP/JSON-LD 以从部分页面中提取结构化数据。

适用人群

需要使用 Claude Code 的开发者，希望其 AI 代理能够可靠地研究公开网页内容、社交媒体线程和视频转录，而无需手动管理代理或 API 凭据。

主要亮点

• 零配置：无需 API 密钥或注册；首次使用时自动安装 curl_cffi 和 yt-dlp 等依赖项。
• 强韧获取：通过多种获取方法逐步升级，直到找到公开路径为止。
• 广泛平台支持：支持 X、Reddit、YouTube、Hacker News、LinkedIn、Medium 等众多平台。
• 严格边界：仅访问公开内容，明确在登录墙或付费墙处停止。