oxylabs/web-scraper-api

해결하는 문제

Web Scraper API는 대규모의 공개 웹사이트에서 실시간으로 구조화된 데이터를 추출하기 위한 포괄적이고 통합된 솔루션을 제공합니다. 개발자가 프록시 회전, CAPTCHA 해결, JavaScript 렌더링, 사용자 정의 파싱 로직과 같은 복잡한 스크래핑 인프라를 수동으로 관리할 필요가 없습니다.

작동 방식

사용자는 대상 URL 또는 검색 쿼리를 지정하는 인증된 HTTP 요청을 보냅니다. API는 프록시 회전 및 악성 봇 방지 기능을 포함한 전체 요청 라이프사이클을 처리하고 데이터를 반환합니다. 세 가지 통합 방법을 제공합니다:

• 실시간: 즉각적인 결과를 위한 동기 요청.
• 푸시-풀: 고부하 워크로드를 위한 비동기 처리로, 결과는 콜백 또는 클라우드 스토리지(AWS S3, Google Cloud Storage)를 통해 전달됩니다.
• 프록시 엔드포인트: URL 기반 스크래핑을 위한 동기 HTTPS 프록시.

동적 콘텐츠의 경우, JavaScript 렌더링을 위한 커스텀 브라우저 기능을 사용하며, 클릭, 입력, 대기와 같은 특정 브라우저 명령을 지원합니다. 또한 인기 있는 사이트(예: Amazon, Google)용 전용 파서와 사용자 정의 필드용 커스텀 파서도 제공합니다.

대상 사용자

• 전자상거래 기업: 경쟁사 가격 및 재고 수준 모니터링에.
• AI 개발자: LLM 및 멀티모달 모델 학습 및 최적화를 위한 고품질 구조화 데이터셋 수집에.
• SEO 전문가: 검색 엔진 순위 및 AI 생성 언급(GEO) 추적에.
• 시장 조사 전문가: 여행, 부동산, 소셜 플랫폼에서의 인사이트 수집에.

주요 특징

• 통합 스택: 프록시, CAPTCHA 처리, 렌더링을 하나의 엔드포인트에 통합.
• 전용 파서: 주요 검색 엔진, AI 플랫폼, 전자상거래 마켓플레이스용 즉시 사용 가능한 구조화된 JSON.
• 브라우저 명령: 클릭, 폼 입력과 같은 사용자 상호작용을 시뮬레이션할 수 있음.
• OxyCopilot: 자연어 프롬프트에서 스크래핑 요청과 파싱 템플릿을 생성하는 AI 어시스턴트.
• 유연한 출력 형식: 원시 HTML, 구조화된 JSON, Markdown, Base64 인코딩된 스크린샷을 지원.