dondai44423/donsetch

解决的问题

DonSeTch 为 AI 代理提供高性能且隐蔽的网络研究方式。它将抓取、搜索、爬虫与截图整合为单一本地进程，无需多个 API 密钥与账户，能绕过机器人检测墙，并处理如 PDF 等复杂网页内容。

运作方式

此项目以 Rust 构建，实现自己的 HTTP/2 传输与提取引擎，以保持快速与轻量。它采用多层级网页访问方式：先以纯 HTTP 追求速度，并自动升级至无头浏览器（使用真实 Chrome TLS/BoringSSL）来解决挑战与绕过机器人墙。一旦挑战解决，它会将 cookies 交回高速抓取层。它也包含一个免密钥搜索聚合器，融合超过 10 个后端结果并进行语义重排序。

适用对象

此工具专为开发需要可靠网页访问的 AI 代理之开发者设计。它原生集成 MCP（模型上下文协议）客户端，如 Claude Code、Cursor 与 OpenCode，也可作为独立 CLI 工具使用。

重点特色

• 真实 Chrome TLS：使用原生 BoringSSL 确保 ClientHello 与真实 Chrome 浏览器相符，避免机器人检测。
• 免密钥搜索：聚合并重排序 10+ 搜索引擎结果，无需 API 密钥。
• Token 效率：使用特殊渲染（如缩短链接）与工具如 focus 与 toc，减少发送至 LLM 的 token 数量。
• 像素融合 PDF：结合字形与渲染像素进行确定性 PDF 解析，并对扫描文档自动 OCR。
• 自我改进抓取：适应 cookie 生命周期，并管理封锁访问域名的冷却时间。
• 全面工具集：提供四个主要工具：web_fetch（Markdown 提取）、web_search（多引擎搜索）、web_crawl（域名爬虫）与 web_screenshot（PNG 渲染）。