oxylabs/perplexity-scraper

해결하는 문제

이 프로젝트는 Perplexity AI에서 데이터를 프로그래밍 방식으로 추출할 수 있는 방법을 제공합니다. Perplexity AI는 모든 기능을 포괄하는 포괄적인 공개 API를 제공하지 않기 때문에, 개발자들은 수동으로 프록시, 브라우저 렌더링, 또는 방봇 시스템을 관리해야 했습니다. 이 도구를 통해 AI 생성 응답, 출처, 메타데이터를 수동으로 관리하지 않고도 자동으로 수집할 수 있습니다.

작동 방식

이 도구는 Oxylabs의 Web Scraper API와 통합되어 있습니다. 사용자는 프롬프트와 인증 정보를 포함한 POST 요청을 API 엔드포인트에 보냅니다. 시스템은 동적 AI 콘텐츠의 JavaScript 렌더링을 처리하고, 구조화된 JSON, 마크다운, 원시 HTML, 또는 웹사이트 PNG 등의 여러 형식으로 결과를 반환합니다. 또한 프롬프트를 보낼 지리적 위치를 지정할 수도 있습니다.

대상 사용자

AI 콘텐츠 감사, 정보 요약의 시간적 변화 추적, 또는 AI 기반 검색 결과 내 SEO 성능 및 브랜드 언급 모니터링이 필요한 개발자 및 연구자.

주요 특징

• 다양한 출력 형식: JSON, 마크다운, HTML, PNG를 지원하여 데이터 통합의 유연성을 제공합니다.
• 구조화된 데이터 추출: AI 모델 사용 여부, 생성된 답변, 관련 질의, 출처 링크와 같은 특정 필드를 파싱합니다.
• 포괄적인 메타데이터: Perplexity의 UI 탭에서 이미지, 쇼핑 상품, 비디오, 장소 등의 추가 결과를 캡처합니다.
• 관리형 인프라: IP 회전, 프록시 관리, 방봇 회피를 자동으로 처리합니다.