watercrawl/WaterCrawl
Transform Web Content into LLM-Ready Data
何を解決するか
WaterCrawl は、インターネットからウェブページをクロールし、関連するデータを抽出するスケーラブルな方法を提供します。大量のウェブコンテンツを収集するプロセスを簡素化し、特定のコンテンツをターゲットにしたり、クロールの深さを管理したり、抽出されたデータをAIおよび自動化ワークフローに統合するためのツールを提供します。
動作方法
Python、Django、Scrapy、Celery を使用して構築されたシステムは、セルフホステッドのウェブアプリケーションとして動作します。非同期処理を使用してリアルタイムでクロールと検索を処理し、Server-Sent Events (SSE) を通じて進行状況の更新を提供します。OpenAPIドキュメント付きのREST APIを公開しており、Python、Node.js、Go、PHP に対応するSDKも提供され、抽出されたデータへのプログラムによるアクセスが可能になります。
対象ユーザー
AIエージェントや自動化パイプラインを構築している開発者やデータエンジニア向けに設計されています。ウェブデータの自動抽出を必要とし、その情報を他のシステムに供給する必要がある方々に最適です。
主な特徴
- カスタマイズ可能なクロール: 深さ、速度、コンテンツのターゲット指定を制御可能。
- AI統合: Dify、N8N、OpenAI とのネイティブプラグインおよび統合をサポート。
- 多言語対応: 異なる言語や国をまたいでコンテンツの検索・クロールが可能。
- 開発者向け: 統合的なREST APIと複数のクライアントSDKを備えています。
- セルフホステッド: オープンソースのデプロイオプションにより、データの完全な制御が可能。
関連
- プロジェクト
0xMassi/webclawウェブサイトをクリーンな Markdown、JSON、および LLM 対応のコンテキストに変換し、AI エージェントや RAG パイプラインで利用可能にするウェブ抽出ツール。
- プロジェクト
firecrawl/cliFirecrawl CLI は、Firecrawl の AI を活用した Web スクレイピングおよび検索サービスに接続するターミナルツールです。ページのスクレイピング（Markdown、HTML、JSON、スクリーンショットなど）、ハイライト付き Web 検索、専門の開発者向けまたは政府向けインデックスのクエリ、人気の AI コーディングアシスタント（Claude Code、Cursor、OpenClaw など）に Firecrawl の使い方を自動的に教える「スキル」のインストールが可能です。認証は対話式または API キーで行い、CLI をセルフホストの Firecrawl インスタンスに向けることもできます。`npm i -g firecrawl-cli` でインストールし、`firecrawl <url>` または `firecrawl search "query"` で開始します。
- プロジェクト
any4ai/AnyCrawlAnyCrawlは、高速でスケーラブルなWebおよびSERPクローリングを実現するオープンソースのNode.jsベースのツールキットです。単一ページスクレイピング、サイト全体のトラバーサル、バッチジョブ、Google SERP取得のREST APIを提供し、Playwright/PuppeteerによるオプションのJavaScriptレンダリングもサポートします。内蔵のLLM抽出機能により、JSONスキーマを指定すると、任意のOpenAI互換モデル（例：Atlas Cloud）を使ってページから構造化データを取得できます。マルチスレッド／マルチプロセスワーカー、Redis/S3キャッシュ、プロキシ設定をサポートし、Docker経由または公開APIで利用可能です。MITライセンスで、AIデータパイプラインや自律エージェントを対象としています。
- プロジェクト
firecrawl/firecrawlFirecrawlは、ウェブサイトをMarkdownや構造化JSONといったLLMに適したクリーンな形式に変換するウェブスクレイピングおよびデータ抽出サービスであり、AIエージェント向けに特別に設計されています。
- プロジェクト
coder-hxl/x-crawlOpenAI や Ollama などの AI モデルと統合し、Web サイトからセマンティックにデータを抽出する Node.js クローラーライブラリ。レイアウトや構造の変化に対して堅牢なスクレイピングを実現します。