us/crw

Fast, lightweight Firecrawl/Tavily alternative in Rust. Web scraper, crawler & search API with MCP server for AI agents. Drop-in Firecrawl-compatible API (/scrape, /crawl, /search). 2.3x faster than Tavily, 1.5x faster than Firecrawl in 1K-URL benchmarks. 6 MB RAM, single binary. Self-host or use managed cloud.

解決的問題

AI Agent 經常受困於原始 HTML 的複雜性以及抓取網站所需的底層架構。fastCRW 提供了一種將任何 URL 轉換為乾淨、LLM 就緒的 Markdown 或經過 Schema 驗證的 JSON 的方法，從而消除了開發人員管理複雜的抓取技術棧、代理或瀏覽器渲染的需求。

工作原理

該引擎基於 Rust 構建，作為一個單一的靜態二進制文件運行，避免了在請求路徑中引入 Node 或 Chromium 等重型運行時帶來的開銷。它提供六項核心操作：網路搜尋、單頁抓取、站點結構映射、全站爬取、透過 JSON Schema 提取結構化數據以及頁面變更監控。它可以作為託管雲服務使用，也可以透過 Docker 進行自託管。

適用對象

  • 尋求透過 MCP 或 SDK (Python, TypeScript) 獲取可靠 Web 數據的 AI Agent 開發者。
  • 需要低延遲、高精度 Web 提取的 數據工程師。
  • 希望避免管理代理和瀏覽器渲染基礎設施的 開發者。

亮點

  • 高真實召回率 (High Truth-Recall): 在公開數據集上捕捉實際頁面內容方面優於競爭對手。
  • 低資源佔用: 空閒時佔用約 50 MB RAM，並具有亞秒級的冷啟動特性。
  • Agent 就緒: 包括內建的 MCP 伺服器支援和可重複使用的 Agent 指令包。
  • 靈活部署: 提供零基礎設施的託管雲服務或可自託管的開源引擎。