fivetaku/insane-search

📚 什么是 insane‑search

insane‑search 是一个 Claude Code 插件，可让 Claude Code LLM 读取任何公开网页，即使网站返回 403 错误、CAPTCHA、WAF 阻断，或以其他方式隐藏内容，使其无法通过普通 HTTP 获取。它无需任何 API 密钥或代理配置——插件会自动尝试一系列公开访问路径（RSS 订阅源、公共 API、TLS 伪装的 curl 调用，最终使用无头浏览器）直到成功获取原始文本、元数据（OGP、JSON‑LD）或 YouTube 字幕。

该仓库是一个真正的软件项目，旨在扩展 AI 代理（Claude Code）的 网页检索、摘要和 RAG 风格数据收集 能力。

---

⚡ 如何获取

/plugin marketplace add https://github.com/fivetaku/gptaku_plugins.git
/plugin install insane-search@gptaku-plugins
/reload-plugins

执行以上三条命令后，插件即准备就绪——您无需学习任何新 CLI；只需像平常一样向 Claude 提问，当获取失败时，插件将自动激活。

---

🚀 核心功能

功能	说明
零配置	首次使用时自动安装所需工具（curl_cffi、yt‑dlp、PDF 解析器等）。
多阶段升级	依次尝试公开端点 → 轻量探测 → TLS 伪装 curl → 真实无头浏览器，一旦成功即停止。
类人浏览行为	使用完整的 TLS 指纹、Cookie 预热和 Referer 链，使请求看起来像真实浏览器。
隐藏 API 发现	捕获页面自身的网络请求，并复用网站内部返回的 JSON 数据。
广泛平台支持	Reddit、X（Twitter）、YouTube、Hacker News、Naver、Coupang、LinkedIn、Medium、Substack、arXiv、GitHub、Stack Overflow、Bluesky、Mastodon，以及任何拥有公开页面、订阅源或 /rss 的网站。
PDF 与 YouTube 处理	延迟加载 PDF 解析器（pdfplumber、pypdf）和通过 yt‑dlp 提取 YouTube 字幕。
结构化输出	使用 --json-content 可在一次请求中返回页面正文、元数据和诊断追踪信息。
尊重认证壁垒	检测到登录页或付费墙时，报告“需要认证”而非尝试绕过。

---

🛠️ 典型工作流程

1. 向 Claude 提出需要网络数据的常规问题，例如：
   • “在 Reddit 上查找人们关于 Claude Code 的讨论，并总结热门帖子。”
   • “总结这个 YouTube 视频。”
2. Claude 尝试获取 URL。若获取被阻断，insane‑search 将自动运行其升级管道。
3. 插件返回提取的文本（或字幕、PDF 文本等）及发现的元数据。
4. Claude 使用这些内容回答您的原始问题。

---

⛔ 边界与负责任使用

• 仅限公开内容：在登录页或付费墙处停止，绝不登录或存储凭据。
• 法律合规：用户必须遵守各网站的使用条款、robots.txt、速率限制及当地法律。
• 双重用途免责声明：仓库包含 DISCLAIMER.md，列出了可接受的使用政策。

---

📄 许可证

MIT – 详见仓库中的 LICENSE 和 DISCLAIMER.md 文件。

---

TL;DR

insane‑search 是一个 Claude Code 插件，通过自动尝试一系列日益复杂的获取方法，使 LLM 能够读取任何公开可访问的网页内容，且无需 API 密钥或手动配置。它是构建 RAG 流水线或任何需要可靠、实时网络信息的 AI 助手工作流的实用工具。