dondai44423/donsetch

해결하는 문제

DonSeTch는 AI 에이전트가 고성능이고 은밀하게 웹 리서치를 수행할 수 있도록 도와줍니다. 일반적으로 AI 에이전트가 실시간 웹 데이터에 접근하는 것을 막는 '봇 벽'(예: CAPTCHA)을 회피하면서, 웹 콘텐츠를 처리할 때 사용하는 토큰 예산도 최적화합니다.

작동 방식

DonSeTch는 Rust로 작성된 단일 바이너리로, AI 에이전트와 웹 사이의 다리 역할을 합니다. 탐지되지 않도록 여러 고급 기술을 사용합니다:

• 네이티브 Chrome TLS: Chrome의 BoringSSL을 직접 구동하여 네트워크 지문을 실제 브라우저와 일치시킵니다.
• 해결 후 전달: 브라우저로 챌린지를 해결한 후 쿠키를 더 빠르고 가벼운 fetcher에 전달합니다.
• 키 없는 검색: API 키 없이 10개 이상의 검색 백엔드를 병렬로 집계합니다.
• 자기 개선형 가져오기: 모든 요청에서 학습하여 도메인별 라우팅과 쿠키 수명을 최적화합니다.
• 에이전트 우선 최적화: 긴 URL 대신 짧은 ID인 "참조 핸들"과 "프로브 모드"(전체 페이지를 가져오지 않고 주장 검증)를 사용해 토큰을 절약합니다.

대상 사용자

대량 데이터 수집이나 대규모 스크래핑이 아닌, "한 번에" 빠르게 리서치(검색, 몇 페이지 읽기, PDF 검증 등)가 필요한 AI 에이전트 개발자 및 사용자에게 적합합니다.

주요 특징

• MCP 호환: Claude Code, Cursor, OpenCode와 같은 Model Context Protocol 클라이언트와 호환됩니다.
• 픽셀 융합 PDF: 글자와 렌더링된 픽셀을 융합하여 고정밀 PDF 읽기를 지원하며, 스캔된 문서의 자동 OCR도 가능합니다.
• 시간적 은밀성: TLS 세션 재사용과 연결 풀링을 구현해 인간의 행동을 모방합니다.
• 키 없는 검색: 다중 엔진 합의와 의미적 재랭킹을 통해 무료 검색 기능을 제공합니다.
• 부활 가져오기: 링크가 무효화된 경우 자동으로 Wayback Machine 스냅샷을 제공합니다.