us/crw

Fast, lightweight Firecrawl/Tavily alternative in Rust. Web scraper, crawler & search API with MCP server for AI agents. Drop-in Firecrawl-compatible API (/scrape, /crawl, /search). 2.3x faster than Tavily, 1.5x faster than Firecrawl in 1K-URL benchmarks. 6 MB RAM, single binary. Self-host or use managed cloud.

解决的问题

AI Agent 经常受困于原始 HTML 的复杂性以及抓取网站所需的底层架构。fastCRW 提供了一种将任何 URL 转换为干净、LLM 就绪的 Markdown 或经过 Schema 验证的 JSON 的方法，从而消除了开发人员管理复杂的抓取技术栈、代理或浏览器渲染的需求。

工作原理

该引擎基于 Rust 构建，作为一个单一的静态二进制文件运行，避免了在请求路径中引入 Node 或 Chromium 等重型运行时带来的开销。它提供六项核心操作：网络搜索、单页抓取、站点结构映射、全站爬取、通过 JSON Schema 提取结构化数据以及页面变更监控。它可以作为托管云服务使用，也可以通过 Docker 进行自托管。

适用对象

  • 寻求通过 MCP 或 SDK (Python, TypeScript) 获取可靠 Web 数据的 AI Agent 开发者。
  • 需要低延迟、高精度 Web 提取的 数据工程师。
  • 希望避免管理代理和浏览器渲染基础设施的 开发者。

亮点

  • 高真实召回率 (High Truth-Recall): 在公开数据集上捕捉实际页面内容方面优于竞争对手。
  • 低资源占用: 空闲时占用约 50 MB RAM，并具有亚秒级的冷启动特性。
  • Agent 就绪: 包括内置的 MCP 服务器支持和可重复使用的 Agent 指令包。
  • 灵活部署: 提供零基础设施的托管云服务或可自托管的开源引擎。