coder-hxl/x-crawl

Flexible Node.js crawler library

何を解決するか

従来のウェブクローラーは、HTML構造やクラス名が変更された際に頻繁に破綻します。これは、固定されたセレクタに依存してデータを検索するためです。x-crawlはAIを統合し、ページの意味的意味を解析することで、下位のコードが変更されても正確に情報を抽出できるようにします。

動作方法

このライブラリは、標準のNode.jsクローラーとAI統合（OpenAIおよびOllama経由）を組み合わせています。ページのナビゲーションや要素とのインタラクションに従来のクローラーとして使用できるほか、HTMLコンテンツをAIモデルに渡し、厳格なCSSセレクタではなく自然言語の指示に基づいて特定のデータポイントを識別・抽出できます。

対象ユーザー

動的コンテンツや頻繁なウェブサイトのレイアウト変更に対応できる、手動でのメンテナンスが不要な耐障害性のあるウェブスクレイパーを構築したい開発者。

特徴

  • AI駆動の抽出: LLMを使用してページの意味を理解し、固定されたクラス名への依存を減らします。
  • 包括的なクローリング: 静的ページ、動的ページ、インターフェースデータ、ファイルダウンロードをサポート。
  • ブラウザ自動化: キーボード入力、イベント操作、自動ページ制御の機能を備えています。
  • 検出回避: デバイスフィンガープリントとローテーションプロキシを備え、追跡やブロックを回避します。
  • 柔軟な実行: 同期・非同期モードの両方をサポートし、優先度キューとカスタマイズ可能な再試行ロジックを提供。

関連

  • プロジェクト
    oxylabs/ai-crawler-py

    自然言語プロンプトを使用して、関連ページを発見し、Webサイトから構造化された JSON または Markdown データを抽出する AI 駆動のウェブクローラーです。

  • プロジェクト
    ScrapeGraphAI/Scrapegraph-ai

    LLM とグラフ論理を活用して、自然言語プロンプトでウェブサイトやローカルドキュメントから構造化データを抽出するAI駆動のウェブスクレイピングライブラリ。

  • プロジェクト
    oxylabs/oxylabs-ai-studio-js

    Oxylabs AI Studio API用のJavaScript SDK。ウェブスクレイピング、クローリング、自律的なブラウザ操作、サイトマッピングのためのAI駆動型ツールを提供します。

  • プロジェクト
    unclecode/crawl4ai

    Crawl4AIは、実際のブラウザを使用してWebページをクロールし、ボイラープレートを除去して、LLM、RAGパイプライン、または自律型AIエージェントですぐに使用できるクリーンなMarkdownや構造化JSONを返すオープンソースのPythonライブラリ（Dockerサーバーおよびホスト型クラウドAPIとしても提供）です。

  • プロジェクト
    any4ai/AnyCrawl

    AnyCrawlは、高速でスケーラブルなWebおよびSERPクローリングを実現するオープンソースのNode.jsベースのツールキットです。単一ページスクレイピング、サイト全体のトラバーサル、バッチジョブ、Google SERP取得のREST APIを提供し、Playwright/PuppeteerによるオプションのJavaScriptレンダリングもサポートします。内蔵のLLM抽出機能により、JSONスキーマを指定すると、任意のOpenAI互換モデル（例：Atlas Cloud）を使ってページから構造化データを取得できます。マルチスレッド／マルチプロセスワーカー、Redis/S3キャッシュ、プロキシ設定をサポートし、Docker経由または公開APIで利用可能です。MITライセンスで、AIデータパイプラインや自律エージェントを対象としています。