watercrawl/WaterCrawl

Transform Web Content into LLM-Ready Data

解决的问题

WaterCrawl 提供了一种可扩展的方式来爬取网页并从互联网中提取相关数据。它简化了大规模网络内容收集的过程，同时提供工具来精准定位特定内容、管理爬取深度，并将提取的数据集成到 AI 和自动化工作流中。

工作原理

基于 Python、Django、Scrapy 和 Celery 构建，该系统作为自托管的 Web 应用运行。它使用异步处理来实时处理爬取和搜索，并通过 Server-Sent Events (SSE) 提供进度更新。系统提供带有 OpenAPI 文档的 REST API，并为多种语言（Python、Node.js、Go 和 PHP）提供 SDK，以便程序化访问提取的数据。

适用人群

专为需要自动化网页数据提取并将其信息输入其他系统的开发人员和数据工程师设计，尤其适合构建 AI 代理或自动化流水线的用户。

主要亮点

可自定义爬取：可控制深度、速度和内容目标。
AI 集成：原生支持 Dify、N8N 和 OpenAI 的插件与集成。
多语言支持：支持跨不同语言和国家的搜索与爬取内容。
开发者友好：提供全面的 REST API 和多种客户端 SDK。
自托管：提供开源部署选项，实现对数据的完全控制。