0xMassi/webclaw

解决的问题

大多数网页抓取工具返回的是原始且杂乱的 HTML，其中充斥着导航菜单、广告和脚本，这会干扰 LLM 的理解。本项目将网站转换为简洁的结构化格式，如 Markdown、JSON 和适合 LLM 的上下文，使 AI 智能体和 RAG（检索增强生成）流水线能够更轻松地处理网页数据。

工作原理

它作为一个提取引擎，可以通过 CLI、REST API 或 MCP (Model Context Protocol) 服务器使用。它获取网页，可选择使用本地浏览器渲染 JavaScript 密集型网站，然后通过剔除不必要的元素来清理内容。它支持 CSS 选择器、XPath、表格转 JSON 以及语义查询等高级功能，以仅提取 AI 任务所需的相关信息。

适用人群

该工具专为构建 AI 智能体、RAG 系统或自动化数据收集流水线的开发者设计，他们需要可靠、简洁且结构化的网页数据来喂给 LLM。

亮点

• LLM 优化输出： 提供特定模式，返回专为 LLM 使用而定制的简洁 Markdown 或上下文。
• MCP 支持： 通过 Model Context Protocol 轻松与 Claude Desktop、Cursor 和 Windsurf 等 AI 工具集成。
• 高级提取： 支持 CSS 选择器、XPath 以及自动将表格转换为 JSON 以获取结构化数据。
• 智能过滤： 包含按文本、正则表达式或语义查询进行过滤的功能，仅提取回答特定问题所需的内容。
• 开发者友好： 提供 CLI、Python SDK、Docker 支持，并具备自托管提取服务器的能力。