Johell1NS/browser-search

해결하는 문제

AI 에이전트에 신뢰할 수 있고 환각을 방지하는 웹 검색 및 브라우징 기능을 제공합니다. 에이전트가 안티봇 보호(예: Cloudflare 또는 Akamai)에 의해 차단되는 문제와 실시간 웹 액세스가 부족할 때 모델이 사실을 환각하는 경향을 해결합니다.

작동 방식

이 프로젝트는 AI 에이전트가 자율적으로 탐색할 수 있는 3단계 에스컬레이션 시스템을 구현합니다:

1. 검색: SearXNG(자체 호스팅 메타 검색 엔진)를 사용하여 URL과 스니펫을 빠르게 찾습니다.
2. 표준 브라우징: Camofox(Firefox 기반 REST API)를 사용하여 대부분의 웹사이트에서 빠르고 구조화된 데이터를 추출합니다.
3. 스텔스 브라우징: 사이트가 Camofox를 차단하면 에이전트는 CloakBrowser로 에스컬레이션합니다. 이는 고급 지문 및 C++ 패치를 갖춘 스텔스 Chromium 인스턴스로, 정교한 안티봇 챌린지를 우회합니다.

이 워크플로우는 결정론적 스크립트를 통해 시행되며, 에이전트가 실시간 소스에 대해 주장을 확인하기 위해 "먼저 검색하고, 다음에 답변하는" 프로세스를 따르도록 보장합니다.

대상자

에이전트가 차단되거나 유료 API에 의존하지 않고 심층적인 연구를 수행하고 웹에서 데이터를 추출해야 하는 AI 에이전트(예: OpenCode, Claude Code, Cursor, GitHub Copilot)의 개발자 및 사용자.

하이라이트

• 안티봇 우회: CloakBrowser를 사용하여 Cloudflare, Akamai, DataDome 및 기타 보호를 해제하도록 특별히 설계되었습니다.
• 자체 호스팅 및 무료: API 키나 구독이 필요 없습니다. 모든 구성 요소(SearXNG, Camofox, CloakBrowser)는 사용자 자신의 하드웨어에서 실행됩니다.
• 자동 에스컬레이션: 차단이 발생하면 에이전트가 표준 브라우징에서 스텔스 모드로 자동 전환됩니다.
• 리소스 효율적: Raspberry Pi에서 실행될 수 있을 만큼 가볍습니다.
• 보안 강화: 내장된 SSRF 방지, 스크립트 샌드박싱 및 경로 순회 보호가 포함되어 있습니다.