us/crw

解決的問題

fastCRW 提供一個高效能引擎，可將網頁內容轉換為乾淨的 Markdown 或結構化 JSON，解決了從 URL 中提取高品質、AI 就緒資料的難題。它取代了過去需要使用多個獨立工具來進行網頁搜尋、抓取、爬取和資料提取的需求。

運作方式

它以 Rust 為基礎的二進位檔案運作，可以在本地端執行或透過託管 API 存取。該引擎支援五個主要操作：

• Scrape：將單一 URL 轉換為 Markdown、HTML、截圖或 JSON。
• Crawl：執行有界限的網站爬取以收集頁面。
• Map：探索網站內的 URL，而無需抓取每個頁面。
• Search：搜尋網頁並可選擇抓取結果。
• Extract：從一個或多個 URL 產生結構化欄位。

它透過模型上下文協定 (MCP) 與 AI 程式編寫工具（如 Cursor、Windsurf 和 Claude Code）整合，讓代理能將其作為一項技能使用。

適用對象

正在建構 AI 代理、RAG 管線或資料提取工具，且需要快速、低記憶體佔用引擎來擷取和清理網頁內容的開發人員。

亮點

• 高效率：閒置時僅佔用約 14 MB 記憶體。
• 高準確度：在真實召回率和答案準確度基準測試中，表現優於 Firecrawl 和 Crawl4AI 等競爭對手。
• 靈活部署：提供託管 API、本地 Rust 二進位檔案或自架等選項。
• 代理就緒：原生支援 MCP 伺服器，可與 AI 程式編寫助手無縫整合。