oxylabs/oxylabs-ai-studio-js

Structured data gathering from any website using AI-powered scraper, crawler, and browser automation. Scraping and crawling with natural language prompts. Equip your LLM agents with fresh data. AI Studio JS SDK for intelligent web data gathering.

解決的問題

此 SDK 為開發人員提供了一種簡化方式,將 AI 驅動的網路數據提取和導航工具整合到 JavaScript 應用程式中。它消除了手動處理複雜的抓取、爬取和瀏覽 API 請求的需要,為使用 AI 從網路提取結構化數據提供了結構化介面。

工作原理

該 SDK 作為 Oxylabs AI Studio API 的封裝器,允許使用者執行以下 AI 驅動的任務:

  • AI-Scraper:使用提供的 JSON schema 或透過自然語言提示生成 schema,從特定 URL 提取數據。
  • AI-Crawler:根據使用者指令,發現並從網站的多個頁面中提取數據。
  • Browser-Agent:一個可以導航網站(例如點擊和輸入文字)並根據使用者提示提取數據的 AI 代理。
  • AI-Search:執行網路搜尋,並可以使用針對即時或輪詢回應優化的端點從結果中回傳內容。
  • AI-Map:根據關鍵字或提示對網站結構進行映射,以發現相關的 URL。

適用對象

正在構建需要自動化、AI 驅動的網路數據收集、結構化數據提取和自主網路導航應用程式的開發人員。

亮點

  • Schema 驅動的提取:支援 JSON、CSV 和 Markdown 輸出格式,並具有用於結構化數據的自定義 JSON schema。
  • 自主導航:Browser-Agent 可以在提取數據之前執行點擊和輸入文字等操作。
  • 爬取與映射:用於大規模發現 URL 和映射網站結構的工具。
  • 地理位置模擬:能夠模擬來自特定國家的請求,以繞過區域限制。
  • JavaScript 渲染:支援渲染 JavaScript 以處理目標頁面上的動態內容。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案