dondai1234/master-fetch

MCP server for web fetching with Cloudflare bypass, Trafilatura extraction, and smart routing. Free, self-hosted, no API keys.

它解決了什麼

Hound 為 AI 代理提供了一種可靠且免費的方式來訪問實時網頁。它透過提供一個本地 Model Context Protocol (MCP) 伺服器來處理搜尋、抓取和爬取,同時繞過機器人偵測牆(如 Cloudflare),從而消除了對昂貴的第三方刮取 API 或複雜帳戶設置的需求。

它是如何運作的

Hound 作為一個 MCP 伺服器運作,能與代理(例如 Claude Code 或 Cursor)整合。它對網路訪問採用兩層方法:首先嘗試快速的 HTTP 請求,如果被阻塞,則升級為一個“偷偷”反偵測瀏覽器(基於 Patchright),該瀏覽器模擬人類行為以繞過機器人牆。對於搜尋,它會在使用者的機器上並行運行多達 10 個無需金鑰的搜尋引擎,並使用本地 ONNX 交叉編碼器合併和排名結果,以進行語義重新排名。

適合誰使用

開發者構建或使用需要即時網頁研究、資料擷取,以及能夠在不產生每請求成本的情況下瀏覽採用嚴格反機器人措施的網站的 AI 代理。

特色

  • Keyless Local Search: 平行搜尋跨越 10 個後端,具備神經重新排名和跨後端共識以提供權威訊號。
  • Anti-Bot Stealth Engine: 透過類似人類的滑鼠移動和指紋輪替,繞過 Cloudflare Turnstile 和其他機器人牆。
  • MCP Integration: 設計為單一伺服器,向任何 MCP 相容代理提供六種專用工具(smart_fetch, smart_crawl, smart_search, screenshot, cache_clear, version)。
  • BYOK Support: 允許使用者添加自己的 API 金鑰(Serper, Tavily, Exa 等)用於主要搜尋,並具備自動輪換和回退到本地無金鑰引擎。
  • Crawl & Fetch: 支援批量抓取、帶 OCR 的 PDF 閱讀,以及將最佳優先同域爬取轉換為 Markdown。