fastcrw/crw

해결하는 문제

fastCRW는 웹 콘텐츠를 Markdown이나 구조화된 JSON과 같이 AI가 바로 사용할 수 있는 깔끔한 형식으로 변환하는 통합 엔진을 제공합니다. JavaScript 렌더링 및 프록시 관리와 같은 복잡한 요구 사항을 처리하면서 웹 스크래핑, 크롤링, 검색의 어려움을 제거합니다.

작동 방식

이 프로젝트는 고성능 Rust 바이너리로 구현되어 로컬에서 실행하거나 관리형 Cloud API를 통해 액세스할 수 있습니다. 5가지 주요 작업을 제공합니다.

• Scrape: 단일 URL을 Markdown, HTML 또는 JSON으로 변환합니다.
• Crawl: 제한된 사이트 크롤링을 수행하여 여러 페이지를 수집합니다.
• Map: 모든 페이지를 스크래핑할 필요 없이 사이트 전체의 URL을 발견합니다.
• Search: 웹을 검색하고 선택적으로 결과를 스크래핑합니다.
• Extract: 하나 이상의 URL에서 구조화된 필드를 추출합니다.

또한 Model Context Protocol (MCP) 서버를 제공하여 Cursor, Claude Code, Windsurf와 같은 AI 코딩 도구와 직접 통합할 수 있습니다.

대상 사용자

자체 스크래핑 인프라를 관리할 필요 없이 높은 재현율과 낮은 지연 시간의 웹 데이터 수집이 필요한 AI 에이전트, RAG 파이프라인 및 데이터 추출 도구 개발자.

주요 특징

• 고성능: AA-Omniscience와 같은 벤치마크에서 진정한 재현율과 답변 정확도 면에서 경쟁 제품을 능가합니다.
• 유연한 배포: 로컬 Rust 바이너리, 관리형 API 또는 자체 호스팅 옵션으로 제공됩니다.
• 경량화: 유휴 상태에서 약 14 MB의 RAM만 사용합니다.
• AI 에이전트 준비 완료: MCP를 기본 지원하여 AI 코딩 어시스턴트와 원활하게 통합됩니다.