dondai44423/donsetch

해결하는 문제

DonSeTch는 AI 에이전트에게 고성능이고 은밀한 웹 리서치 방법을 제공합니다. 페칭, 검색, 크롤링, 스크린샷을 단일 로컬 프로세스로 통합하여 여러 API 키와 계정이 필요 없게 합니다. 봇 탐지 벽을 우회하고 PDF와 같은 복잡한 웹 콘텐츠를 처리할 수 있습니다.

작동 방식

Rust로 구축된 이 프로젝트는 자체 HTTP/2 전송 및 추출 엔진을 구현하여 빠르고 가볍게 유지합니다. 웹 액세스에 다중 계층 접근 방식을 사용합니다: 먼저 일반 HTTP로 속도를 추구하고, 자동으로 헤드리스 브라우저(실제 Chrome TLS/BoringSSL 사용)로 에스컬레이션하여 챌린지를 해결하고 봇 벽을 우회합니다. 챌린지가 해결되면 쿠키를 고속 페칭 계층으로 돌려줍니다. 또한 10개 이상의 백엔드 결과를 의미론적 재순위화로 융합하는 키리스 검색 애그리게이터를 포함합니다.

대상 사용자

신뢰할 수 있는 웹 액세스가 필요한 AI 에이전트를 구축하는 개발자를 위해 설계되었습니다. Claude Code, Cursor, OpenCode와 같은 MCP(모델 컨텍스트 프로토콜) 클라이언트와 네이티브로 통합되며, 독립형 CLI 도구로도 작동합니다.

주요 특징

• 실제 Chrome TLS: 네이티브 BoringSSL을 사용하여 ClientHello가 실제 Chrome 브라우저와 일치하도록 보장하여 봇 탐지를 피합니다.
• 키리스 검색: API 키 없이 10개 이상의 검색 엔진 결과를 집계하고 재순위화합니다.
• 토큰 효율성: 특수 렌더링(예: 링크 단축)과 focus 및 toc 같은 도구를 사용하여 LLM에 전송되는 토큰 수를 줄입니다.
• 픽셀 융합 PDF: 글리프와 렌더링된 픽셀을 결합하여 결정적 PDF 파싱을 수행하고, 스캔 문서에는 자동 OCR을 적용합니다.
• 자기 개선 페칭: 쿠키 수명을 적응시키고 액세스를 차단하는 도메인에 대한 쿨다운을 관리합니다.
• 포괄적인 도구 세트: web_fetch(Markdown 추출), web_search(다중 엔진 검색), web_crawl(도메인 크롤링), web_screenshot(PNG 렌더링)의 네 가지 주요 도구를 제공합니다.