spider-rs/spider

해결하는 문제

Spider는 대규모 웹 크롤링 및 스크래핑을 위한 고성능 솔루션을 제공합니다. 프록시 관리, 악성 봇 방지 보호 회피, JavaScript가 많은 페이지 처리 등 웹 데이터 추출의 일반적인 어려움을 속도를 희생하지 않고 해결합니다.

작동 방식

Rust로 작성된 Spider는 페이지를 가져올 때 배치 처리하는 대신 스트리밍하는 컨커런시 우선 엔진입니다. 속도를 위해 주로 HTTP 요청을 사용하지만, JavaScript 렌더링이 필요한 페이지는 자동으로 헤드리스 Chrome을 실행합니다. 로컬에서 라이브러리 또는 CLI로 실행하거나, 프록시 회전 및 차단 해제를 자동으로 처리하는 Spider Cloud와 통합하여 사용할 수 있습니다.

대상 사용자

데이터 파이프라인, SEO 모니터, AI 브라우징 에이전트를 개발하는 개발자 및 LLM 및 RAG 애플리케이션에 웹 데이터를 공급해야 하는 팀에게 적합합니다.

주요 특징

• 하이브리드 렌더링: HTTP 우선 추출을 사용하며, JavaScript가 필요한 경우에만 헤드리스 Chrome으로 전환합니다.
• 확장 가능한 아키텍처: 동일한 API를 사용해 단일 로컬 스크립트에서 분산 펌 fleet까지 확장 가능합니다.
• 스트리밍 출력: 페이지가 도착하는 즉시 실시간으로 스트리밍됩니다.
• 내장 스텔스 기능: 프록시, 재시도, 레이트 제한, 스텔스 모드를 통합하여 탐지 방지 기능을 제공합니다.