oxylabs/oxylabs-ai-studio-py

Structured data gathering from any website using AI-powered scraper, crawler, and browser automation. Scraping and crawling with natural language prompts. Equip your LLM agents with fresh data. AI Studio python SDK for intelligent web data gathering.

What it solves

이 SDK는 개발자가 AI 기반 웹 데이터 추출 및 브라우징 기능을 Python 애플리케이션에 통합할 수 있는 간편한 방법을 제공합니다. 복잡한 스크래핑 로직, 프록시 관리, JavaScript 렌더링을 직접 처리할 필요가 없으며, 자연어 프롬프트를 통해 웹에서 구조화된 데이터를 추출할 수 있습니다.

How it works

SDK는 Oxylabs AI Studio API의 래퍼 역할을 하며, 다양한 데이터 추출 작업을 위한 전용 클래스를 제공합니다:

  • AiCrawler: 자연어 프롬프트를 사용해 웹사이트 전반의 여러 페이지에서 데이터를 찾고 추출합니다.
  • AiScraper: 단일 페이지에서 특정 데이터를 추출하며, 구조화된 출력을 위해 JSON 스키마를 생성할 수 있습니다.
  • AiSearch: AI 강화 웹 검색을 수행하고 마크다운 형식으로 콘텐츠를 반환합니다.
  • BrowserAgent: 에이전트형 브라우저로, 검색 바 사용 등 웹사이트와 상호작용하여 사용자 프롬프트에 기반한 특정 정보를 찾습니다.
  • AiMap: 도메인을 매핑하여 키워드나 자연어 프롬프트에 따라 특정 유형의 URL을 식별합니다.

Who it’s for

대규모로 웹에서 구조화된 데이터를 수집하고, 웹 브라우징 작업을 자동화하며, AI 기반 검색 및 콘텐츠 발견을 소프트웨어에 통합하려는 개발자를 위한 도구입니다.

Highlights

  • Natural Language Extraction: 프롬프트를 사용해 AI가 특정 데이터 포인트를 찾고 추출하도록 안내합니다.
  • Structured Output: JSON, CSV, Markdown 등 다양한 포맷을 지원하며, JSON 출력용 스키마 생성도 가능합니다.
  • Agentic Browsing: 목표 달성을 위해 페이지에서 동작을 수행할 수 있는 Browser Agent를 포함합니다.
  • Global Proxy Support: 지역 제한을 우회하기 위한 지리적 타겟팅 프록시를 내장하고 있습니다.
  • Async Support: 모든 메서드에 비동기 버전이 제공되어 고성능 애플리케이션에 적합합니다.