dondai44423/donsetch
Web fetch, search, and crawl for AI agents. Built from scratch in Rust. No keys, no accounts. AGPL v3.
何を解決するか
DonSeTch は AI エージェントに高速で隠密なウェブリサーチの手段を提供します。AI エージェントがリアルタイムのウェブデータにアクセスできなくなる「ボットウォール」(CAPTCHA など)を回避し、ウェブコンテンツを処理する際のトークン予算を最適化します。
動作方法
DonSeTch は Rust で作られた単一のバイナリで、AI エージェントとウェブの間のブリッジとして機能します。検出を回避するために複数の高度な技術を使用しています:
- ネイティブ Chrome TLS:Chrome の BoringSSL をネイティブに駆動し、ネットワークの指紋を本物のブラウザと一致させます。
- 解決して転送:ブラウザでチャレンジを解決し、その後クッキーを高速で軽量な fetcher に渡します。
- キーなし検索:10 以上の検索バックエンドを並列で集約し、API キーを必要としません。
- 自己改善型フェッチ:すべてのリクエストから学習し、ドメインごとのルーティングとクッキーの有効期間を最適化します。
- エージェント最適化:「リファレンスハンドル」(長い URL の代わりに短い ID)と「プローブモード」(ページ全体を取得せずに主張を検証)を使用してトークンを節約します。
対象ユーザー
「ワンショット」の高速リサーチ(検索、数ページの読解、PDF の検証など)が必要な AI エージェント開発者やユーザー向けに設計されています。大量のデータ収集や大規模なスクレイピングには向いていません。
特徴
- MCP 対応:Claude Code、Cursor、OpenCode などの Model Context Protocol クライアントと連携可能。
- ピクセル融合 PDF:グリフとレンダリング済みピクセルを統合し、高忠実度の PDF 読み取りを実現。スキャン済みドキュメントの自動 OCR もサポート。
- 時間的隠密性:TLS セッション再開と接続プールを実装し、人間の行動を模倣します。
- キーなし検索:複数エンジンの合意と意味的再ランク付けにより、無料で検索機能を提供。
- 復活フェッチ:リンクが無効になった場合、自動的に Wayback Machine のスナップショットを提供します。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト