fivetaku/insane-search

해결하는 문제

특정 AI 에이전트(특히 Claude Code)가 공개 웹 페이지를 읽으려 할 때 403 오류, 웹 애플리케이션 방화벽(WAF), CAPTCHA, 그리고 기타 보안 방지 조치로 인해 차단되는 문제를 해결합니다. API 키나 사용자 로그인 없이 X, Reddit, YouTube 등의 플랫폼에서 콘텐츠에 접근할 수 있게 해줍니다.

작동 방식

이 도구는 적응형 단계적 업그레이드 파이프라인을 사용하여 콘텐츠를 가져옵니다. 표준 가져오기 실패 시 다음 단계를 순서대로 시도합니다:

1. 특수 공개 엔드포인트: 플랫폼 전용 API와 피드를 사용합니다.
2. 경량 프로브: 공개 API 리더, 싱크로니제이션 게이트웨이, 대체 URL 변형(예: 모바일 또는 RSS)을 시도합니다.
3. TLS 위장: curl_cffi를 사용하여 실제 브라우저(Safari, Chrome, Firefox)의 TLS 지문을 모방합니다.
4. 헤드리스 브라우저: 자바스크립트 렌더링이 필요한 페이지용으로 실제 헤드리스 브라우저를 실행합니다.

또한 yt-dlp를 사용해 YouTube 자막과 메타데이터를 가져오며, 응답에서 OGP/JSON-LD를 스캔하여 부분 페이지에서도 구조화된 데이터를 추출합니다.

대상 사용자

Claude Code를 사용하여 공개 웹 콘텐츠, 소셜 미디어 스레드, 동영상 전사본을 수동으로 프록시나 API 자격 증명을 관리하지 않고도 신뢰성 있게 조사해야 하는 개발자들입니다.

주요 특징

• 제로 설정: API 키나 가입이 필요 없으며, 처음 사용 시 curl_cffi와 yt-dlp 등의 종속성 자동 설치됩니다.
• 강력한 리트리벌: 여러 가지 가져오기 방법을 단계적으로 시도하여 공개 경로를 찾을 때까지 계속합니다.
• 광범위한 플랫폼 지원: X, Reddit, YouTube, Hacker News, LinkedIn, Medium 등 다양한 플랫폼에서 작동합니다.
• 엄격한 경계: 공개 콘텐츠만 접근하며, 로그인 벽이나 유료 벽에서는 명확히 중단됩니다.