dondai44423/donsetch
Web fetch, search, and crawl for AI agents. Built from scratch in Rust. No keys, no accounts. AGPL v3.
解決的問題
DonSeTch 為 AI 代理提供了一種高效率、隱蔽的網路研究方式。它解決了 AI 代理通常因機器人檢測與「機器人牆」(如驗證碼)而無法存取即時網路資料的問題,同時也優化了代理處理網路內容時所使用的 token 預算。
工作原理
DonSeTch 是一個單一的 Rust 二進位檔,作為 AI 代理與網路之間的橋樑。它使用多種先進技術來避免被偵測:
- 原生 Chrome TLS:原生驅動 Chrome 的 BoringSSL,使其網路特徵與真實瀏覽器一致。
- 解決並跳轉:使用瀏覽器解決挑戰後,將 cookies 交還給更快、更輕量的 fetcher。
- 無密鑰搜尋:並行聚合超過 10 個搜尋後端的結果,無需 API 密鑰。
- 自我優化取得:從每次請求中學習,優化每個網域的路由與 cookie 有效期限。
- 代理優先優化:使用「參考句柄」(短 ID 而非長 URL)與「探測模式」(無需取得整頁即可驗證主張)來節省 token。
適用對象
專為需要「一次性」快速研究(如搜尋、閱讀幾頁內容或驗證 PDF)的 AI 代理開發者與使用者設計,而非用於批量資料蒐集或大規模爬取。
特色亮點
- MCP 兼容:可與 Claude Code、Cursor、OpenCode 等 Model Context Protocol 客戶端搭配使用。
- 像素融合 PDF:融合字形與渲染像素,實現高保真 PDF 閱讀,支援掃描文件的自動 OCR。
- 時間隱蔽性:實作 TLS 會話重用與連接池,模擬人類行為。
- 無密鑰搜尋:透過跨引擎共識與語意重排序,提供免費搜尋功能。
- 復活取得:若連結失效,自動提供 Wayback Machine 快照。
相關
- 專案
- 專案
- 專案
- 專案
- 專案