watercrawl/WaterCrawl

Transform Web Content into LLM-Ready Data

解决的问题

WaterCrawl 提供了一种可扩展的方式来爬取网页并从互联网中提取相关数据。它简化了大规模网络内容收集的过程，同时提供工具来精准定位特定内容、管理爬取深度，并将提取的数据集成到 AI 和自动化工作流中。

工作原理

基于 Python、Django、Scrapy 和 Celery 构建，该系统作为自托管的 Web 应用运行。它使用异步处理来实时处理爬取和搜索，并通过 Server-Sent Events (SSE) 提供进度更新。系统提供带有 OpenAPI 文档的 REST API，并为多种语言（Python、Node.js、Go 和 PHP）提供 SDK，以便程序化访问提取的数据。

适用人群

专为需要自动化网页数据提取并将其信息输入其他系统的开发人员和数据工程师设计，尤其适合构建 AI 代理或自动化流水线的用户。

主要亮点

  • 可自定义爬取：可控制深度、速度和内容目标。
  • AI 集成：原生支持 Dify、N8N 和 OpenAI 的插件与集成。
  • 多语言支持：支持跨不同语言和国家的搜索与爬取内容。
  • 开发者友好：提供全面的 REST API 和多种客户端 SDK。
  • 自托管：提供开源部署选项，实现对数据的完全控制。

相关

  • 项目
    0xMassi/webclaw

    一个网页提取工具，可将网站转换为简洁的 Markdown、JSON 和适合 LLM 的上下文，供 AI 智能体和 RAG 流水线使用。

  • 项目
    firecrawl/cli

    Firecrawl CLI 是一个终端工具，连接到 Firecrawl AI 驱动的网页抓取和搜索服务。它允许你抓取页面（markdown、HTML、JSON、截图等），进行带高亮的网络搜索，查询专门的开发者或政府索引，并安装“技能”，教流行的 AI 编码助手（Claude Code、Cursor、OpenClaw 等）自动使用 Firecrawl。认证是交互式的或通过 API 密钥，你还可以将 CLI 指向自托管的 Firecrawl 实例。通过 `npm i -g firecrawl-cli` 安装，并使用 `firecrawl <url>` 或 `firecrawl search

  • 项目
    any4ai/AnyCrawl

    AnyCrawl 是一个基于 Node.js 的开源工具包，用于快速、可扩展的 Web 和 SERP 爬取。它提供单页抓取、全站遍历、批量任务和 Google SERP 获取的 REST API，支持通过 Playwright/Puppeteer 进行可选的 JavaScript 渲染。内置 LLM 提取功能允许您提供 JSON 模式，并使用任何 OpenAI 兼容模型（如 Atlas Cloud）从页面中获取结构化数据。系统支持多线程/多进程工作器、Redis/S3 缓存和代理配置，可通过 Docker 运行或通过公共 API 使用。MIT 许可证，专为 AI 数据管道和自主代理设计。

  • 项目
    firecrawl/firecrawl

    Firecrawl 是一个网页抓取和数据提取服务，旨在将网站转换为适合 LLM 的干净格式（如 Markdown 和结构化 JSON），专为 AI 智能体设计。

  • 项目
    coder-hxl/x-crawl

    一个与 OpenAI 和 Ollama 等 AI 模型集成的 Node.js 爬虫库，用于从网站中语义化地提取数据，使爬虫对布局和结构变化更具弹性。