fastcrw/crw

解决的问题

fastCRW 提供了一个统一的引擎，将网页内容转换为干净、AI 友好的格式，如 Markdown 或结构化 JSON。它消除了网页抓取、爬取与搜索的困难，同时处理 JavaScript 渲染与代理管理等复杂需求。

运作方式

该项目实现为一个高性能的 Rust 二进制文件，可于本地执行或通过托管的 Cloud API 访问。它提供五种主要操作：

• Scrape：将单一 URL 转换为 Markdown、HTML 或 JSON。
• Crawl：执行有界限的网站爬取以收集多个页面。
• Map：在网站中发现 URL，无需抓取每个页面。
• Search：搜索网页并选择性地抓取结果。
• Extract：从一个或多个 URL 中提取结构化字段。

它还提供了一个 Model Context Protocol (MCP) 服务器，可直接与 Cursor、Claude Code 与 Windsurf 等 AI 编码工具集成。

目标客群

开发 AI 代理、RAG 管线与数据提取工具的开发者，他们需要高召回率、低延迟的网页数据获取，且无需管理自己的抓取基础设施。

特色亮点

• 高性能：在 AA-Omniscience 等基准测试中，真实召回率与答案准确度优于竞争对手。
• 灵活部署：提供本地 Rust 二进制文件、托管 API 或自托管选项。
• 轻量级：闲置时仅占用约 14 MB RAM。
• AI 代理就绪：原生支持 MCP，可与 AI 编码助手无缝集成。