coder-hxl/x-crawl

Flexible Node.js crawler library

解决的问题

传统网页爬虫在网站更新 HTML 结构或类名时经常失效，因为它们依赖固定的选择器来查找数据。x-crawl 通过集成 AI 来解析页面的语义含义，使其即使在底层代码发生变化时也能准确提取信息。

工作原理

该库结合了标准的 Node.js 爬虫与 AI 集成（通过 OpenAI 和 Ollama）。它既可以作为传统爬虫用于页面导航和元素交互，也可以将 HTML 内容传递给 AI 模型，根据自然语言指令而非僵化的 CSS 选择器来识别和提取特定数据点。

适用人群

需要构建能够应对动态内容和频繁网站布局变更、无需持续手动维护的稳健网页爬虫的开发者。

主要亮点

  • AI 驱动提取：使用 LLM 理解页面语义并提取数据，减少对固定类名的依赖。
  • 全面爬取支持：支持静态页面、动态页面、界面数据和文件下载。
  • 浏览器自动化：包含键盘输入、事件操作和自动页面控制功能。
  • 反检测机制：具备设备指纹和轮换代理功能，避免被追踪或屏蔽。
  • 灵活执行模式：支持同步与异步模式、优先级队列和可自定义的重试逻辑。

相关

  • 项目
    oxylabs/ai-crawler-py

    一个使用自然语言提示的 AI 驱动网页爬虫，可发现相关页面并从网站中提取结构化的 JSON 或 Markdown 数据。

  • 项目
    ScrapeGraphAI/Scrapegraph-ai

    一个利用 LLM 和图逻辑，通过自然语言提示从网站和本地文档中提取结构化数据的 AI 驱动网页爬取库。

  • 项目
    oxylabs/oxylabs-ai-studio-js

    Oxylabs AI Studio API 的 JavaScript SDK，提供用于网络爬虫、抓取、自主浏览器导航和网站映射的 AI 驱动工具。

  • 项目
    unclecode/crawl4ai

    Crawl4AI 是一个开源 Python 库（也提供 Docker 服务器和托管云 API），它使用真实浏览器爬取网页，去除样板内容，并返回适用于 LLM、RAG 流水线或自主 AI 代理的干净 Markdown 或结构化 JSON。

  • 项目
    any4ai/AnyCrawl

    AnyCrawl 是一个基于 Node.js 的开源工具包，用于快速、可扩展的 Web 和 SERP 爬取。它提供单页抓取、全站遍历、批量任务和 Google SERP 获取的 REST API，支持通过 Playwright/Puppeteer 进行可选的 JavaScript 渲染。内置 LLM 提取功能允许您提供 JSON 模式，并使用任何 OpenAI 兼容模型（如 Atlas Cloud）从页面中获取结构化数据。系统支持多线程/多进程工作器、Redis/S3 缓存和代理配置，可通过 Docker 运行或通过公共 API 使用。MIT 许可证，专为 AI 数据管道和自主代理设计。