spider-rs/spider

解決的問題

Spider 提供了一種高效率的解決方案，用於大規模爬取與抓取網頁。它解決了網頁資料擷取中的常見難題，例如管理代理、繞過反機器人防護，以及在不犧牲速度的情況下處理 JavaScript 資料密集的頁面。

運作方式

Spider 使用 Rust 編寫，是一種以並發為優先的引擎，它在取得頁面時進行即時串流，而非批次處理。主要使用 HTTP 請求以追求速度，但對於需要 JavaScript 渲染的頁面，可自動啟動無頭 Chrome。該引擎可作為本地函式庫或 CLI 執行，也可與 Spider Cloud 整合，以實現托管基礎設施，自動處理代理輪換與解封。

適用對象

專為開發資料管道、SEO 監控器與 AI 瀏覽代理的開發者，以及需要將網頁資料輸入向量儲存以供 LLM 與 RAG 應用的團隊設計。

主要亮點

• 混合渲染：優先使用 HTTP 取得，僅在需要 JavaScript 時才升級至無頭 Chrome。
• 可擴展架構：可從單一本地腳本擴展至使用相同 API 的分散式叢集。
• 串流輸出：頁面在到達時即時串流輸出。
• 內建隱蔽模式：整合代理、重試、速率限制與隱蔽模式，以避免被偵測到。