oxylabs/web-scraper-api

何を解決するか

Web Scraper API は、大規模な公開ウェブサイトからリアルタイムで構造化されたデータを抽出する包括的かつワンストップのソリューションを提供します。開発者がプロキシのローテーション、CAPTCHAの解決、JavaScriptのレンダリング、カスタムパースロジックといった複雑なスクレイピングインフラを手動で管理する必要がなくなります。

動作方法

ユーザーは認証済みのHTTPリクエストを送信し、対象のURLまたは検索クエリを指定します。APIはプロキシローテーションやアンチボット回避を含むリクエストライフサイクル全体を処理し、データを返します。3つの統合方法を提供しています：

• リアルタイム：即時結果を得るための同期リクエスト。
• プッシュ・プル：高負荷のワークロード向けの非同期処理。結果はコールバックまたはクラウドストレージ（AWS S3、Google Cloud Storage）で受け取れます。
• プロキシエンドポイント：URLベースのスクレイピング用の同期HTTPSプロキシ。

動的コンテンツには、JavaScriptレンダリング用のカスタムブラウザ機能を活用し、クリックや入力、待機などの特定ブラウザ操作をサポートします。また、人気サイト（例：Amazon、Google）向けの専用パーサーと、ユーザー定義フィールド用のカスタムパーサーも備えています。

対象ユーザー

• ECビジネス：競合の価格や在庫状況の監視に。
• AI開発者：LLMやマルチモーダルモデルの訓練・微調整に使用する高品質な構造化データセットの収集に。
• SEOスペシャリスト：検索エンジン順位やAI生成コンテンツの出現（GEO）の追跡に。
• マーケットリサーチャー：旅行、不動産、ソーシャルプラットフォームからのインサイト収集に。

特徴

• ワンストップスタック：プロキシ、CAPTCHA処理、レンダリングを1つのエンドポイントに統合。
• 専用パーサー：主要な検索エンジン、AIプラットフォーム、ECマーケットプレイス向けの即時利用可能な構造化JSON。
• ブラウザ操作指示：クリックやフォーム入力などのユーザー操作をシミュレート可能。
• OxyCopilot：自然言語のプロンプトからスクレイピングリクエストとパーステンプレートを生成するAIアシスタント。
• 柔軟な出力形式：生のHTML、構造化JSON、Markdown、Base64エンコードされたスクリーンショットをサポート。