dondai1234/master-fetch

MCP server for web fetching with Cloudflare bypass, Trafilatura extraction, and smart routing. Free, self-hosted, no API keys.

What it solves

Hound는 AI 에이전트가 라이브 웹에 안정적이고 비용 없이 접근할 수 있는 방법을 제공합니다. 이는 로컬 Model Context Protocol (MCP) 서버를 제공하여 검색, 가져오기, 크롤링을 처리하고 bot 탐지 벽(예: Cloudflare)을 우회함으로써 비용이 많이 드는 서드파티 스크래핑 API나 복잡한 계정 설정이 필요 없도록 합니다.

How it works

Hound는 에이전트(예: Claude Code 또는 Cursor)와 통합되는 MCP 서버로 작동합니다. 웹 접근에 두 단계 접근 방식을 사용합니다: 먼저 빠른 HTTP 요청을 시도하고, 차단되면 Patchright 기반의 '스텔스' 안티-디텍트 브라우저로 escalate하여 인간 행동을 시뮬레이션해 bot 벽을 우회합니다. 검색의 경우, 사용자 머신에서 최대 10개의 키리스 검색 엔진을 병렬로 실행하고, 로컬 ONNX 크로스-인코더를 사용하여 의미 기반 재순위를 위해 결과를 병합 및 순위 매깁니다.

Who it’s for

실시간 웹 조사, 데이터 추출, 그리고 요청당 비용을 발생시키지 않으면서 엄격한 bot 방지 조치를 사용하는 웹사이트를 탐색할 수 있는 능력을 필요로 하는 AI 에이전트를 구축하거나 사용하는 개발자.

Highlights

Keyless Local Search: 10개 백엔드에 걸쳐 신경 재순위 및 백엔드 간 합의를 통한 권한 신호를 위한 병렬 검색.
Anti-Bot Stealth Engine: 인간과 유사한 마우스 움직임 및 지문 회전을 사용하여 Cloudflare Turnstile 및 기타 bot 벽을 우회합니다.
MCP Integration: MCP 호환 에이전트에 6개의 특수 도구(smart_fetch, smart_crawl, smart_search, screenshot, cache_clear, version)를 제공하는 단일 서버로 설계되었습니다.
BYOK Support: 기본 검색을 위해 사용자가 자신의 API 키(Serper, Tavily, Exa 등)를 추가할 수 있도록 허용하며, 자동 회전 및 로컬 키리스 엔진으로의 폴백을 제공합니다.
Crawl & Fetch: 대량 가져오기, OCR을 통한 PDF 읽기, 그리고 마크다운으로 변환된 동일 도메인 내 best-first 크롤링을 지원합니다.