watercrawl/WaterCrawl

Transform Web Content into LLM-Ready Data

何を解決するか

WaterCrawl は、インターネットからウェブページをクロールし、関連するデータを抽出するスケーラブルな方法を提供します。大量のウェブコンテンツを収集するプロセスを簡素化し、特定のコンテンツをターゲットにしたり、クロールの深さを管理したり、抽出されたデータをAIおよび自動化ワークフローに統合するためのツールを提供します。

動作方法

Python、Django、Scrapy、Celery を使用して構築されたシステムは、セルフホステッドのウェブアプリケーションとして動作します。非同期処理を使用してリアルタイムでクロールと検索を処理し、Server-Sent Events (SSE) を通じて進行状況の更新を提供します。OpenAPIドキュメント付きのREST APIを公開しており、Python、Node.js、Go、PHP に対応するSDKも提供され、抽出されたデータへのプログラムによるアクセスが可能になります。

対象ユーザー

AIエージェントや自動化パイプラインを構築している開発者やデータエンジニア向けに設計されています。ウェブデータの自動抽出を必要とし、その情報を他のシステムに供給する必要がある方々に最適です。

主な特徴

カスタマイズ可能なクロール: 深さ、速度、コンテンツのターゲット指定を制御可能。
AI統合: Dify、N8N、OpenAI とのネイティブプラグインおよび統合をサポート。
多言語対応: 異なる言語や国をまたいでコンテンツの検索・クロールが可能。
開発者向け: 統合的なREST APIと複数のクライアントSDKを備えています。
セルフホステッド: オープンソースのデプロイオプションにより、データの完全な制御が可能。