dondai44423/donsetch

解決する問題

DonSeTchは、AIエージェントに高性能でステルスなウェブリサーチ手段を提供します。フェッチ、検索、クローリング、スクリーンショットを単一のローカルプロセスに統合し、複数のAPIキーやアカウントを不要にします。ボット検出の壁を回避し、PDFなどの複雑なウェブコンテンツも処理できます。

仕組み

Rustで構築されたこのプロジェクトは、独自のHTTP/2トランスポートと抽出エンジンを実装し、高速かつ軽量を維持します。ウェブアクセスには多層アプローチを採用：まずプレーンHTTPで速度を追求し、自動的にヘッドレスブラウザ（実際のChrome TLS/BoringSSLを使用）にエスカレーションしてチャレンジを解決し、ボットの壁を回避します。チャレンジが解決されると、クッキーを高速フェッチ層に戻します。また、10以上のバックエンドからの結果をセマンティック再ランキングで融合するキーレス検索アグリゲーターも含みます。

対象者

信頼性の高いウェブアクセスを必要とするAIエージェントを構築する開発者向けに設計されています。Claude Code、Cursor、OpenCodeなどのMCP（モデルコンテキストプロトコル）クライアントとネイティブに統合し、スタンドアロンのCLIツールとしても機能します。

ハイライト

• 実際のChrome TLS：ネイティブBoringSSLを使用してClientHelloが実際のChromeブラウザと一致することを保証し、ボット検出を回避します。
• キーレス検索：APIキーなしで10以上の検索エンジンの結果を集約し再ランキングします。
• トークン効率：特殊なレンダリング（リンク短縮など）とfocusやtocなどのツールを使用して、LLMに送信するトークン数を削減します。
• ピクセル融合PDF：グリフとレンダリングされたピクセルを組み合わせて決定的なPDF解析を行い、スキャン文書には自動OCRを適用します。
• 自己改善フェッチ：クッキーの寿命を適応させ、アクセスをブロックするドメインのクールダウンを管理します。
• 包括的なツールセット：web_fetch（Markdown抽出）、web_search（マルチエンジン検索）、web_crawl（ドメインクロール）、web_screenshot（PNGレンダリング）の4つの主要ツールを提供します。