oxylabs/web-scraper-api

해결하는 문제

Web Scraper API는 공개 웹사이트에서 대규모로 실시간 데이터를 추출하기 위한 포괄적인 올인원 솔루션을 제공합니다. 웹사이트 차단을 피하기 위해 일반적으로 필요한 프록시 로테이션, CAPTCHA 해결, JavaScript 렌더링과 같은 복잡한 스크레이핑 인프라를 개발자가 직접 관리할 필요가 없습니다.

작동 방식

사용자는 대상 URL이나 쿼리를 지정하여 인증된 HTTP 요청을 보냅니다. API는 프록시 로테이션, 안티봇 챌린지 관리, 선택적 JavaScript 렌더링을 포함한 전체 요청 수명 주기를 처리하고 데이터를 반환합니다. Realtime(동기식), Push-Pull(대용량 데이터용 비동기식), Proxy Endpoint 등 세 가지 통합 방식을 제공합니다.

대상 사용자

이커머스 인텔리전스, SEO/LLM 모니터링, AI 학습 데이터 수집, 검색 엔진, 마켓플레이스 및 일반 웹 페이지 전반에 걸친 시장 조사를 위해 프로덕션급 데이터 추출이 필요한 개발자와 기업을 위해 설계되었습니다.

주요 특징

• 올인원 스택: 프록시, 액세스 관리, 파싱을 단일 엔드포인트로 통합.
• 전용 파서: Amazon, Google, AI 플랫폼(ChatGPT, Perplexity)과 같은 인기 타겟을 위한 사전 구축된 구조화된 JSON 출력 제공.
• 브라우저 지침: 동적 페이지를 위한 클릭, 스크롤, 폼 입력과 같은 사용자 상호 작용 시뮬레이션 지원.
• OxyCopilot: 간단한 영어 프롬프트에서 스크레이핑 요청 및 파싱 템플릿을 생성하는 AI 기반 어시스턴트.
• 유연한 출력: 원시 HTML, 구조화된 JSON, Markdown 또는 Base64 인코딩된 스크린샷으로 데이터 반환.
• 자동 스케줄링: cron 표현식을 사용하여 반복적인 스크레이핑 작업을 수행할 수 있는 내장 스케줄러 포함.