Johell1NS/browser-search

해결하는 문제

browser-search는 Cloudflare나 Akamai와 같은 봇 방지 보호 기능에 막히지 않고 AI 에이전트가 웹을 검색하고 탐색할 수 있도록 도와주는 도구 모음입니다. 결정론적인 '검색 먼저, 답변 나중' 워크플로우를 통해 에이전트가 실제 웹 소스를 기반으로 사실을 검증하도록 강제함으로써 모델의 환각(홀루시네이션)을 제거하는 것을 목표로 합니다.

작동 방식

이 프로젝트는 웹 접근을 위한 3단계 에스컬레이션 시스템을 구현합니다:

1. 검색 단계: 여러 소스에서 URL과 스니펫을 빠르게 수집하기 위해 SearXNG(자기 호스팅형 메타검색 엔진)을 사용합니다.
2. 표준 브라우징: REST API를 통해 접근 가능한 Firefox 기반 브라우저인 Camofox를 사용하여 Readability.js를 활용해 깨끗한 콘텐츠를 추출합니다.
3. 스텔스 브라우징: 사이트가 Camofox를 차단할 경우, 에이전트는 자동으로 CloakBrowser로 에스컬레이션합니다. CloakBrowser는 고급 지문 분석 기술과 C++ 소스 레벨 패치를 갖춘 Chromium 기반 브라우저로, 고도화된 봇 방지 도전 과제를 우회할 수 있습니다.

대상 사용자

OpenCode, Claude Code, Cursor, GitHub Copilot와 같은 AI 에이전트를 개발하거나 사용하는 개발자 및 사용자에게 적합합니다. 유료 API에 의존하지 않고 신뢰할 수 있고 제한 없이 자기 호스팅된 웹 리서치를 수행하고 싶은 분들께 추천합니다.

주요 특징

• 봇 방지 보호 우회: Cloudflare, Turnstile, DataDome, Akamai 등 다양한 보호 기능을 명시적으로 우회하도록 설계되었습니다.
• 자기 호스팅 및 무료: API 키나 구독이 필요 없으며, 모든 구성 요소는 Docker와 npm을 통해 로컬 머신에서 실행됩니다.
• 홀루시네이션 방지: 에이전트가 실시간 웹 소스를 기반으로 주장 내용을 검증하도록 엄격한 워크플로우를 강제합니다.
• 자동 에스컬레이션: 사이트 응답에 따라 에이전트가 표준 브라우징에서 스텔스 모드로 전환할 시점을 자율적으로 결정합니다.
• 보안 강화: 내장된 SSRF 방지, 스크립트 사전 격리, 요청 제한 기능을 포함합니다.