oxylabs/web-scraper-api

解決的問題

Web Scraper API 提供一個全面且一體化的解決方案，可大規模從公開網站提取即時、結構化資料。它消除了開發者手動管理複雜爬蟲基礎設施的需求，例如代理輪換、CAPTCHA 解決、JavaScript 渲染和自訂解析邏輯。

工作原理

使用者送出包含目標 URL 或搜尋查詢的認證 HTTP 請求。API 會處理整個請求生命週期——包括代理輪換與反機器人繞過——並回傳資料。它提供三種整合方式：

• 即時：同步請求，用於即時結果。
• 推送-拉取：異步處理，適用於高負載工作流程，結果可透過回呼或雲端儲存（AWS S3、Google Cloud Storage）交付。
• 代理端點：用於基於 URL 爬取的同步 HTTPS 代理。

針對動態內容，它使用自訂瀏覽器功能進行 JavaScript 渲染，並支援特定的瀏覽器指令（點擊、輸入、等待）。它還包含針對熱門網站（如 Amazon、Google）的專用解析器，以及用於使用者自訂欄位的自訂解析器。

適用對象

• 電商企業：用於監控競爭對手的定價與庫存水準。
• AI 開發者：用於收集高品質、結構化資料集，以訓練與微調 LLM 及多模態模型。
• SEO 專家：用於追蹤搜尋引擎排名與 AI 生成的提及（GEO）。
• 市場研究人員：用於從旅遊、不動產與社交平台中取得洞察。

主要亮點

• 一體化堆疊：將代理、CAPTCHA 處理與渲染整合至單一端點。
• 專用解析器：為主要搜尋引擎、AI 平台與電商市場提供即用型結構化 JSON。
• 瀏覽器指令：可模擬使用者互動，如點擊與表單輸入。
• OxyCopilot：一個 AI 助手，能根據自然語言提示生成爬取請求與解析範本。
• 彈性輸出：支援原始 HTML、結構化 JSON、Markdown 與 Base64 編碼的截圖。