oxylabs/AI-Search-py

해결하는 문제

AI-Search는 개발자가 웹에서 정보를 검색하고 추출하는 과정을 단순화합니다. 사용자가 직접 커스텀 검색 스크래퍼를 처음부터 구축할 필요 없이, 자연어로 웹을 검색하고 결과 페이지의 콘텐츠를 선택적으로 스크래핑할 수 있는 통합된 방법을 제공합니다.

작동 방식

이 도구는 API를 통해 Python 애플리케이션에 통합되는 지능형 검색 에이전트로 작동합니다. 사용자는 일반 영어로 검색 쿼리를 입력하고, 원하는 결과 수(최대 50개)를 지정하며, 에이전트가 페이지의 전체 콘텐츠를 스크래핑할지 여부를 전환할 수 있습니다. 현대적인 JavaScript 중심 웹사이트를 처리하기 위해, 동적 콘텐츠에서 데이터를 정확히 추출할 수 있도록 JavaScript 렌더링 옵션도 포함되어 있습니다.

대상 사용자

최신 뉴스 수집, 경쟁사 조사, 산업 동향 집계와 같은 데이터 탐색 및 수집 작업을 자동화해야 하는 개발자에게 적합합니다.

주요 기능

• 자연어 쿼리: 일반 영어로 웹 검색 가능.
• 동적 콘텐츠 처리: Single Page Applications에서 데이터를 추출할 수 있도록 JavaScript 렌더링 지원.
• 콘텐츠 추출: 선택적으로 검색 결과에서 markdown 형식의 콘텐츠를 스크래핑하여 반환.
• 지역화 검색: ISO 2자리 국가 코드 또는 좌표를 사용한 geo_location 파라미터로 검색 결과를 지역화 가능.