dondai1234/master-fetch

MCP server for web fetching with Cloudflare bypass, Trafilatura extraction, and smart routing. Free, self-hosted, no API keys.

它解决了什么

Hound 为 AI 代理提供了一种可靠且免费的方式来访问实时网络。它通过提供一个本地 Model Context Protocol(MCP)服务器来消除对昂贵的第三方抓取 API 或复杂账户设置的需求,该服务器负责搜索、获取和爬取,同时绕过机器人检测墙(如 Cloudflare)。

它是如何工作的

Hound 作为一个 MCP 服务器运行,与代理集成(如 Claude Code 或 Cursor)。它采用两层方式进行网络访问:首先尝试快速 HTTP 请求,如果被阻止,则升级到“基于 Patchright 的隐身”反检测浏览器,模拟人类行为以绕过机器人墙。对于搜索,它在用户机器上并行运行多达 10 个无密钥搜索引擎,使用本地 ONNX 交叉编码器合并和排名结果以进行语义重新排名。

它适用于谁

构建或使用需要实时网络研究、数据提取以及能够在不产生每请求成本的情况下导航采用严格反机器人措施的网站的 AI 代理的开发者。

亮点

  • 无密钥本地搜索:在 10 个后端上进行并行搜索,使用神经重新排名和跨后端共识来获取权威信号。
  • 反机器人隐身引擎:通过类似人类的鼠标移动和指纹轮换绕过 Cloudflare Turnstile 和其他机器人墙。
  • MCP 集成:设计为单一服务器,向任何 MCP 兼容代理提供六种专用工具(smart_fetchsmart_crawlsmart_searchscreenshotcache_clearversion)。
  • BYOK 支持:允许用户添加自己的 API 密钥(Serper、Tavily、Exa 等)用于主要搜索,具有自动轮换和回退到本地无密钥引擎。
  • 爬取 & 获取:支持批量获取、带 OCR 的 PDF 阅读以及将最佳优先同域爬取转换为 Markdown。