oxylabs/oxylabs-ai-studio-py

Structured data gathering from any website using AI-powered scraper, crawler, and browser automation. Scraping and crawling with natural language prompts. Equip your LLM agents with fresh data. AI Studio python SDK for intelligent web data gathering.

What it solves

这个 SDK 为开发者提供了一种简化的方式，将 AI 驱动的网页数据提取与浏览功能整合到 Python 应用程序中。它消除了手动处理复杂爬取逻辑、代理管理和 JavaScript 渲染的需求，同时允许用户通过自然语言提示从网络上提取结构化数据。

How it works

SDK 充当 Oxylabs AI Studio API 的包装，提供针对不同数据提取任务的专属类：

  • AiCrawler：使用自然语言提示在整个网站的多个页面中寻找并提取数据。
  • AiScraper：从单一页面提取特定数据，并能生成 JSON schema 以获得结构化输出。
  • AiSearch：执行 AI 增强的网络搜索，并以 Markdown 格式返回内容。
  • BrowserAgent：具代理功能的浏览器，可与网站交互（例如使用搜索栏）根据用户提示查找特定信息。
  • AiMap：将域名映射，根据关键词或自然语言提示识别特定类型的 URL。

Who it’s for

需要大规模收集网络结构化数据、自动化网页浏览任务，并将 AI 驱动的搜索与内容发现整合到软件中的开发者。

Highlights

  • Natural Language Extraction：使用提示指导 AI 找到并提取特定数据点。
  • Structured Output：支持多种格式，包括 JSON、CSV 与 Markdown，并可为 JSON 输出生成 schema。
  • Agentic Browsing：内置可在页面上执行操作以达成目标的 Browser Agent。
  • Global Proxy Support：内建地理位置目标代理支持，绕过区域限制。
  • Async Support：每个方法皆提供对应的异步版本，适用于高性能应用程序。