oxylabs/oxylabs-ai-studio-js
Structured data gathering from any website using AI-powered scraper, crawler, and browser automation. Scraping and crawling with natural language prompts. Equip your LLM agents with fresh data. AI Studio JS SDK for intelligent web data gathering.
解決する課題
このSDKは、開発者がAIを活用したウェブデータ抽出およびナビゲーションツールをJavaScriptアプリケーションに統合するための合理化された方法を提供します。スクレイピング、クローリング、ブラウジングのための複雑なAPIリクエストを手動で処理する必要がなくなり、AIを使用してウェブから構造化データを抽出するための構造化されたインターフェースを提供します。
仕組み
このSDKはOxylabs AI Studio APIのラッパーとして機能し、ユーザーが以下のAI駆動タスクを実行できるようにします:
- AI-Scraper: 提供されたJSONスキーマ、またはスキーマを生成するための自然言語プロンプトを使用して、特定のURLからデータを抽出します。
- AI-Crawler: ユーザーの指示に基づいて、サイト内の複数のページからデータを探索・抽出します。
- Browser-Agent: ウェブサイトをナビゲート(例:クリックやテキスト入力)し、ユーザーのプロンプトに基づいてデータを抽出できるAIエージェントです。
- AI-Search: ウェブ検索を実行し、リアルタイムまたはポーリングベースのレスポンスに最適化されたエンドポイントを使用して、結果からコンテンツを返します。
- AI-Map: キーワードやプロンプトに基づいて、関連するURLを見つけるためにウェブサイトの構造をマッピングします。
対象者
自動化されたAI駆動のウェブデータ収集、構造化データ抽出、および自律的なウェブナビゲーションを必要とするアプリケーションを構築している開発者。
ハイライト
- スキーマ駆動の抽出: 構造化データのためのカスタムJSONスキーマを備えた、JSON、CSV、Markdown出力形式をサポートしています。
- 自律的なナビゲーション: Browser-Agentは、データを抽出する前にクリックやテキスト入力などのアクションを実行できます。
- クローリングとマッピング: URLの発見とサイト構造のマッピングを大規模に行うためのツール。
- ジオロケーション・シミュレーション: 地域制限を回避するために、特定の国からのリクエストをシミュレートする機能。
- JavaScriptレンダリング: ターゲットページ上の動的コンテンツを処理するためのJavaScriptレンダリングをサポートしています。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト