us/crw
Fast, lightweight Firecrawl/Tavily alternative in Rust. Web scraper, crawler & search API with MCP server for AI agents. Drop-in Firecrawl-compatible API (/scrape, /crawl, /search). 2.3x faster than Tavily, 1.5x faster than Firecrawl in 1K-URL benchmarks. 6 MB RAM, single binary. Self-host or use managed cloud.
해결하는 문제
AI 에이전트는 종종 원본 HTML의 복잡성과 웹사이트를 스크레이핑하는 데 필요한 인프라 문제로 어려움을 겪습니다. fastCRW는 모든 URL을 깨끗하고 LLM에 적합한 마크다운 또는 스키마 검증된 JSON으로 변환하는 방법을 제공하여, 개발자가 복잡한 스크레이핑 스택, 프록시 또는 브라우저 렌더링을 관리할 필요가 없게 합니다.
작동 방식
Rust로 구축된 엔진은 요청 경로에서 Node 또는 Chromium과 같은 무거운 런타임의 오버헤드를 피하는 단일 정적 바이너리로 작동합니다. 웹 검색, 단일 페이지 스크레이핑, 사이트 구조 매핑, 전체 사이트 크롤링, JSON Schema를 통한 구조화된 데이터 추출, 페이지 변경 모니터링 등 6가지 핵심 기능을 제공합니다. 관리형 클라우드 서비스로 사용하거나 Docker를 통해 셀프 호스팅할 수 있습니다.
대상 사용자
- MCP 또는 SDK (Python, TypeScript)를 통해 신뢰할 수 있는 웹 데이터를 찾는 AI 에이전트 개발자
- 낮은 지연 시간과 높은 정확도의 웹 추출이 필요한 데이터 엔지니어
- 프록시 및 브라우저 렌더링을 위한 인프라 관리를 피하고 싶은 개발자
주요 특징
- 높은 진실 재현율 (High Truth-Recall): 공개 데이터셋에서 실제 페이지 콘텐츠를 캡처하는 데 있어 경쟁사보다 뛰어난 성능을 보입니다.
- 낮은 리소스 점유율: 유휴 상태에서 약 50 MB의 RAM을 사용하며, 1초 미만의 콜드 스타트를 특징으로 합니다.
- 에이전트 최적화: 내장된 MCP 서버 지원 및 에이전트용 재사용 가능한 인스트럭션 팩을 포함합니다.
- 유연한 배포: 인프라 관리가 필요 없는 관리형 클라우드 또는 셀프 호스팅 가능한 오픈 소스 엔진을 제공합니다.