dondai44423/donsetch
Web fetch, search, and crawl for AI agents. Built from scratch in Rust. No keys, no accounts. AGPL v3.
解决的问题
DonSeTch 为 AI 代理提供了一种高性能、隐蔽的网络研究方式。它解决了 AI 代理通常因机器人检测和 "机器人墙"(如验证码)而无法访问实时网络数据的问题,同时优化了代理处理网络内容时使用的 token 预算。
工作原理
DonSeTch 是一个单一的 Rust 二进制文件,充当 AI 代理与网络之间的桥梁。它使用多种先进技术来避免被检测到:
- 原生 Chrome TLS:原生驱动 Chrome 的 BoringSSL,使其网络指纹与真实浏览器一致。
- 解决并跳转:使用浏览器解决挑战后,将 cookies 交还给更快、更轻量的 fetcher。
- 无密钥搜索:并行聚合超过 10 个搜索后端的结果,无需 API 密钥。
- 自我优化获取:从每次请求中学习,优化每个域名的路由和 cookie 有效期。
- 代理优先优化:使用 "参考句柄"(短 ID 而非长 URL)和 "探测模式"(无需获取整页即可验证声明)来节省 token。
适用人群
专为需要 "一次性" 快速研究(如搜索、阅读几页内容或验证 PDF)的 AI 代理开发者和用户设计,而非用于批量数据采集或大规模爬取。
特色亮点
- MCP 兼容:可与 Claude Code、Cursor、OpenCode 等 Model Context Protocol 客户端配合使用。
- 像素融合 PDF:融合字形与渲染像素,实现高保真 PDF 阅读,支持扫描文档的自动 OCR。
- 时间隐蔽性:实现 TLS 会话恢复和连接池,模拟人类行为。
- 无密钥搜索:通过跨引擎共识和语义重排序,提供免费搜索功能。
- 复活获取:若链接失效,自动提供 Wayback Machine 快照。
相关
- 项目
- 项目
- 项目
- 项目
- 项目