us/crw

해결하는 문제

fastCRW는 웹 콘텐츠를 깔끔한 Markdown 또는 구조화된 JSON으로 변환하는 고성능 엔진을 제공하여, URL에서 고품질의 AI 지원 데이터를 추출하는 어려움을 해결합니다. 웹 검색, 스크래핑, 크롤링 및 데이터 추출을 위해 여러 개의 별도 도구를 사용할 필요성을 대체합니다.

작동 방식

Rust 기반 바이너리로 작동하며 로컬에서 실행하거나 관리형 API를 통해 액세스할 수 있습니다. 이 엔진은 5가지 주요 작업을 지원합니다:

• Scrape: 단일 URL을 Markdown, HTML, 스크린샷 또는 JSON으로 변환합니다.
• Crawl: 페이지를 수집하기 위해 제한된 사이트 크롤을 수행합니다.
• Map: 모든 페이지를 스크래핑하지 않고 사이트 내의 URL을 검색합니다.
• Search: 웹을 검색하고 선택적으로 결과를 스크래핑합니다.
• Extract: 하나 또는 여러 URL에서 구조화된 필드를 생성합니다.

Model Context Protocol (MCP)을 통해 AI 코딩 도구(Cursor, Windsurf, Claude Code 등)와 통합되어 에이전트가 이를 기술로 사용할 수 있도록 합니다.

대상 사용자

웹 콘텐츠를 가져오고 정리하기 위해 빠르고 메모리 사용량이 적은 엔진이 필요한 AI 에이전트, RAG 파이프라인 또는 데이터 추출 도구를 구축하는 개발자.

주요 특징

• 고효율: 유휴 상태에서 약 14 MB의 RAM을 사용합니다.
• 고정확도: 진실 재현율 및 답변 정확도 벤치마크에서 Firecrawl 및 Crawl4AI와 같은 경쟁사보다 뛰어난 성능을 보여줍니다.
• 유연한 배포: 관리형 API, 로컬 Rust 바이너리 또는 자체 호스팅 형태로 사용할 수 있습니다.
• 에이전트 지원: AI 코딩 어시스턴트와 원활하게 통합되는 네이티브 MCP 서버를 지원합니다.