watercrawl/WaterCrawl

Transform Web Content into LLM-Ready Data

해결하는 문제

WaterCrawl는 인터넷에서 웹 페이지를 크롤링하고 관련 데이터를 추출하는 확장 가능한 방법을 제공합니다. 대량의 웹 콘텐츠를 수집하는 과정을 단순화하면서도 특정 콘텐츠를 타겟팅하고, 크롤링 깊이를 관리하며, 추출된 데이터를 AI 및 자동화 워크플로우에 통합할 수 있는 도구를 제공합니다.

작동 방식

Python, Django, Scrapy, Celery로 구축된 시스템은 자체 호스팅 웹 애플리케이션으로 작동합니다. 비동기 처리를 사용하여 실시간으로 크롤링과 검색을 처리하며, Server-Sent Events (SSE)를 통해 진행 상황을 업데이트합니다. OpenAPI 문서가 있는 REST API를 제공하며, Python, Node.js, Go, PHP용 SDK도 제공되어 추출된 데이터에 프로그래밍 방식으로 접근할 수 있습니다.

대상 사용자

AI 에이전트나 자동화 파이프라인을 구축하는 개발자 및 데이터 엔지니어를 위한 것입니다. 웹 데이터 추출을 자동화하고, 그 정보를 다른 시스템에 공급해야 하는 사용자에게 적합합니다.

주요 특징

사용자 정의 크롤링: 깊이, 속도, 콘텐츠 타겟팅을 제어할 수 있습니다.
AI 통합: Dify, N8N, OpenAI와의 네이티브 플러그인 및 통합을 지원합니다.
다국어 지원: 다양한 언어와 국가를 아우르는 콘텐츠 검색 및 크롤링이 가능합니다.
개발자 친화적: 포괄적인 REST API와 여러 언어용 클라이언트 SDK를 제공합니다.
자체 호스팅: 오픈소스 배포 옵션을 통해 데이터 완전 제어가 가능합니다.