watercrawl/WaterCrawl

Transform Web Content into LLM-Ready Data

解決的問題

WaterCrawl 提供了一種可擴展的方式來爬取網頁並從網際網路中提取相關資料。它簡化了大量網路內容收集的過程，同時提供工具來精準定位特定內容、管理爬取深度，並將提取的資料整合至 AI 與自動化工作流程中。

運作方式

基於 Python、Django、Scrapy 和 Celery 建構，該系統作為自托管的 Web 應用運行。它使用非同步處理來即時處理爬取與搜尋，並透過 Server-Sent Events (SSE) 提供進度更新。系統提供具 OpenAPI 文件的 REST API，並為多種語言（Python、Node.js、Go 和 PHP）提供 SDK，以便程式化存取提取的資料。

適用對象

專為需要自動化網頁資料提取並將其資訊輸入其他系統的開發人員與資料工程師設計，尤其適合建構 AI 代理或自動化流程的使用者。

主要亮點

可自訂爬取：可控制深度、速度與內容目標。
AI 集成：原生支援 Dify、N8N 和 OpenAI 的外掛與整合。
多語言支援：支援跨不同語言與國家的搜尋與爬取內容。
開發者友善：提供完整的 REST API 與多種客戶端 SDK。
自托管：提供開源部署選項，實現對資料的完全控制。