oxylabs/oxylabs-ai-studio-py

Structured data gathering from any website using AI-powered scraper, crawler, and browser automation. Scraping and crawling with natural language prompts. Equip your LLM agents with fresh data. AI Studio python SDK for intelligent web data gathering.

What it solves

この SDK は、開発者が AI 駆動のウェブデータ抽出とブラウジング機能を Python アプリケーションに統合するためのシンプルな方法を提供します。複雑なスクレイピングロジック、プロキシ管理、JavaScript レンダリングを手動で扱う必要がなく、自然言語プロンプトを使ってウェブから構造化データを抽出できます。

How it works

SDK は Oxylabs AI Studio API のラッパーとして機能し、さまざまなデータ抽出タスク向けに専用クラスを提供します:

  • AiCrawler:自然言語プロンプトを使用して、サイト全体の複数ページからデータを検索・抽出します。
  • AiScraper:単一ページから特定データを抽出し、構造化出力のために JSON スキーマを生成できます。
  • AiSearch:AI 強化されたウェブ検索を実行し、Markdown 形式でコンテンツを取得します。
  • BrowserAgent:エージェント型ブラウザで、検索バーの使用などサイトと対話し、ユーザープロンプトに基づいて特定情報を見つけます。
  • AiMap:ドメインをマッピングし、キーワードや自然言語プロンプトに基づいて特定タイプの URL を特定します。

Who it’s for

大規模にウェブから構造化データを収集し、ウェブブラウジングタスクを自動化し、AI 主導の検索とコンテンツ発見をソフトウェアに統合したい開発者向けです。

Highlights

  • Natural Language Extraction:プロンプトを使用して AI に特定のデータポイントの検索と抽出を指示します。
  • Structured Output:JSON、CSV、Markdown など複数フォーマットに対応し、JSON 出力用のスキーマ生成もサポートします。
  • Agentic Browsing:目標達成のためにページ上で操作を実行できる Browser Agent を含みます。
  • Global Proxy Support:地域制限を回避するためのジオロケーションターゲティングを組み込んだプロキシをサポートします。
  • Async Support:すべてのメソッドに対応する非同期バージョンがあり、高パフォーマンスアプリケーションに適しています。