us/crw

解决的问题

fastCRW 提供了一个高性能引擎，可将网页内容转换为干净的 Markdown 或结构化 JSON，解决了从 URL 中提取高质量、AI 就绪数据的难题。它取代了以往需要使用多个独立工具来搜索、抓取、爬取和提取网页数据的需求。

工作原理

它以基于 Rust 的二进制文件运行，可以在本地运行或通过托管 API 访问。该引擎支持五个主要操作：

• Scrape：将单个 URL 转换为 Markdown、HTML、屏幕截图或 JSON。
• Crawl：执行有边界的网站爬取以收集页面。
• Map：发现站点内的 URL，而无需抓取每个页面。
• Search：搜索网络并可选择抓取结果。
• Extract：从一个或多个 URL 生成结构化字段。

它通过模型上下文协议 (MCP) 与 AI 编程工具（如 Cursor、Windsurf 和 Claude Code）集成，允许代理将其作为一项技能使用。

适用人群

正在构建 AI 代理、RAG 管道或数据提取工具，且需要快速、低内存占用引擎来获取和清理网页内容的开发者。

亮点

• 高效率：空闲时仅占用约 14 MB 内存。
• 高准确度：在真实召回率和答案准确度基准测试中，表现优于 Firecrawl 和 Crawl4AI 等竞争对手。
• 灵活部署：可作为托管 API、本地 Rust 二进制文件或自托管使用。
• 代理就绪：原生支持 MCP 服务器，可与 AI 编程助手无缝集成。