oxylabs/oxylabs-ai-studio-py

Structured data gathering from any website using AI-powered scraper, crawler, and browser automation. Scraping and crawling with natural language prompts. Equip your LLM agents with fresh data. AI Studio python SDK for intelligent web data gathering.

What it solves

這個 SDK 為開發者提供了一種簡化的方式，將 AI 驅動的網頁資料擷取與瀏覽功能整合到 Python 應用程式中。它免除手動處理複雜爬取邏輯、代理管理與 JavaScript 渲染的需求，同時允許使用者透過自然語言提示從網路上擷取結構化資料。

How it works

SDK 充當 Oxylabs AI Studio API 的封裝，提供針對不同資料擷取任務的專屬類別：

  • AiCrawler：使用自然語言提示在整個網站的多個頁面中尋找並擷取資料。
  • AiScraper：從單一頁面擷取特定資料，並能產生 JSON schema 以得到結構化輸出。
  • AiSearch：執行 AI 增強的網路搜尋，並以 Markdown 格式回傳內容。
  • BrowserAgent：具代理功能的瀏覽器，可與網站互動（例如使用搜尋欄）依使用者提示找出特定資訊。
  • AiMap：將網域映射，根據關鍵字或自然語言提示辨識特定類型的 URL。

Who it’s for

需要大規模收集網路結構化資料、自動化網頁瀏覽任務，並將 AI 驅動的搜尋與內容發掘整合到軟體中的開發者。

Highlights

  • Natural Language Extraction：使用提示指導 AI 找到並擷取特定資料點。
  • Structured Output：支援多種格式，包括 JSON、CSV 與 Markdown，並可為 JSON 輸出產生 schema。
  • Agentic Browsing：內建可在頁面上執行動作以達成目標的 Browser Agent。
  • Global Proxy Support：內建地理位置目標代理支援，繞過區域限制。
  • Async Support：每個方法皆提供對應的非同步版本，適用於高效能應用程式。