dondai44423/donsetch

Web fetch, search, and crawl for AI agents. Built from scratch in Rust. No keys, no accounts. AGPL v3.

何を解決するか

DonSeTch は AI エージェントに高速で隠密なウェブリサーチの手段を提供します。AI エージェントがリアルタイムのウェブデータにアクセスできなくなる「ボットウォール」(CAPTCHA など)を回避し、ウェブコンテンツを処理する際のトークン予算を最適化します。

動作方法

DonSeTch は Rust で作られた単一のバイナリで、AI エージェントとウェブの間のブリッジとして機能します。検出を回避するために複数の高度な技術を使用しています:

  • ネイティブ Chrome TLS:Chrome の BoringSSL をネイティブに駆動し、ネットワークの指紋を本物のブラウザと一致させます。
  • 解決して転送:ブラウザでチャレンジを解決し、その後クッキーを高速で軽量な fetcher に渡します。
  • キーなし検索:10 以上の検索バックエンドを並列で集約し、API キーを必要としません。
  • 自己改善型フェッチ:すべてのリクエストから学習し、ドメインごとのルーティングとクッキーの有効期間を最適化します。
  • エージェント最適化:「リファレンスハンドル」(長い URL の代わりに短い ID)と「プローブモード」(ページ全体を取得せずに主張を検証)を使用してトークンを節約します。

対象ユーザー

「ワンショット」の高速リサーチ(検索、数ページの読解、PDF の検証など)が必要な AI エージェント開発者やユーザー向けに設計されています。大量のデータ収集や大規模なスクレイピングには向いていません。

特徴

  • MCP 対応:Claude Code、Cursor、OpenCode などの Model Context Protocol クライアントと連携可能。
  • ピクセル融合 PDF:グリフとレンダリング済みピクセルを統合し、高忠実度の PDF 読み取りを実現。スキャン済みドキュメントの自動 OCR もサポート。
  • 時間的隠密性:TLS セッション再開と接続プールを実装し、人間の行動を模倣します。
  • キーなし検索:複数エンジンの合意と意味的再ランク付けにより、無料で検索機能を提供。
  • 復活フェッチ:リンクが無効になった場合、自動的に Wayback Machine のスナップショットを提供します。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト