fivetaku/insane-search

📚 insane‑search란 무엇인가요

insane‑search는 Claude Code 플러그인으로, 403 오류, CAPTCHA, WAF 차단 등 일반 HTTP 요청으로는 콘텐츠를 숨기는 사이트에서도 공개 웹 페이지를 읽을 수 있게 해줍니다. API 키나 프록시 설정 없이도 작동하며, 공개 경로(피드, 공개 API, TLS 가짜화된 curl 호출, 최종적으로 헤드리스 브라우저)를 단계적으로 시도하여 원시 텍스트, 메타데이터(OGP, JSON‑LD), YouTube 자막 등을 추출합니다.

이 리포지토리는 AI 에이전트(Claude Code)의 웹 검색, 요약, RAG 스타일 데이터 수집 능력을 확장하기 위한 진정한 소프트웨어 프로젝트입니다.

---

⚡ 설치 방법

/plugin marketplace add https://github.com/fivetaku/gptaku_plugins.git
/plugin install insane-search@gptaku-plugins
/reload-plugins

위 세 명령어를 실행하면 플러그인이 준비됩니다. 새로운 CLI를 배울 필요 없이, 평소처럼 Claude에게 질문하면, 가져오기 실패 시 자동으로 플러그인이 활성화됩니다.

---

🚀 주요 기능

기능	설명
초기 설정 없음	처음 사용 시 필요한 도구(curl_cffi, yt‑dlp, PDF 파서 등)를 자동 설치합니다.
다단계 승격 전략	공개 엔드포인트 → 가벼운 탐색 → TLS 가짜화된 curl → 실제 헤드리스 브라우저 순으로 시도하며, 성공한 순간 즉시 중단합니다.
사용자처럼 브라우징	완전한 TLS 지문, 쿠키 워밍, 리퍼러 체인을 사용해 요청이 실제 브라우저처럼 보이게 합니다.
숨겨진 API 탐지	페이지의 내부 네트워크 호출을 캡처하고, 사이트가 내부에서 반환하는 JSON을 재사용합니다.
광범위한 플랫폼 지원	Reddit, X(Twitter), YouTube, Hacker News, Naver, Coupang, LinkedIn, Medium, Substack, arXiv, GitHub, Stack Overflow, Bluesky, Mastodon, 그리고 공개 페이지, 피드, /rss를 가진 모든 사이트.
PDF 및 YouTube 처리	지연 로딩 PDF 파서(pdfplumber, pypdf)와 yt‑dlp를 통한 YouTube 자막 추출.
구조화된 출력	--json-content를 사용하면 한 번의 요청으로 페이지 본문, 메타데이터, 진단 트레이스를 포함한 JSON 형식으로 반환합니다.
인증 장벽 존중	로그인 또는 유료 콘텐츠 페이지를 감지하면 "인증 필요"라고 보고하며, 우회를 시도하지 않습니다.

---

🛠️ 일반적인 워크플로우

1. Claude에게 일반적인 질문을 던지며 웹 데이터가 필요한 경우, 예:
   • "Reddit에서 Claude Code에 대해 사람들이 말하는 것을 찾아서 상위 스레드를 요약해줘."
   • "이 YouTube 동영상을 요약해줘."
2. Claude가 URL을 가져오려 시도합니다. 가져오기가 차단되면, insane‑search가 자동으로 승격 파이프라인을 실행합니다.
3. 플러그인이 추출된 텍스트(또는 자막, PDF 텍스트 등)와 발견된 메타데이터를 반환합니다.
4. Claude는 이 콘텐츠를 사용해 원래 질문에 답변합니다.

---

⛔ 제한 및 책임 있는 사용

• 공개 콘텐츠만: 로그인 화면이나 유료벽에서 중단되며, 로그인하거나 자격 증명을 저장하지 않습니다.
• 법적 준수: 각 사이트의 이용 약관, robots.txt, 레이트 제한, 현지 법률을 존중해야 합니다.
• 이중 용도 면책 조항: 리포지토리에는 DISCLAIMER.md가 포함되어 있으며, 허용되는 사용 정책이 명시되어 있습니다.

---

📄 라이선스

MIT – 전체 조건은 리포지토리의 LICENSE 및 DISCLAIMER.md를 참조하세요.

---

TL;DR

insane‑search는 API 키나 수동 설정 없이, 점진적으로 고도화된 가져오기 방법을 자동으로 시도하여 Claude Code의 LLM이 공개 가능한 모든 웹 콘텐츠를 읽을 수 있도록 해주는 플러그인입니다. RAG 파이프라인 구축이나 최신 웹 정보가 필요한 AI 어시스턴트 워크플로우에 실용적인 도구입니다.