firecrawl/firecrawl

Supercharge your AI agents with data from the web and beyond. Building the library for superintelligence. 🔥

解決する課題

Firecrawlは、AIアプリケーションのためにウェブからデータを収集するプロセスを簡素化します。プロキシのローテーション管理、JavaScriptを多用するページの処理、レート制限への対応といったウェブスクレイピングの技術的な障壁を取り除き、LLMに適したクリーンなデータパイプラインを提供します。

仕組み

Firecrawlは、AIエージェントとインターネットの間の抽象化レイヤーとして機能します。URLや自然言語のプロンプトを入力すると、サービスがナビゲーション、インタラクション（クリックやスクロールなど）、抽出を処理します。生のウェブコンテンツを、LLMのトークン効率とコンテキストウィンドウに最適化されたMarkdownやJSONなどの構造化形式に変換します。また、正確なURLを指定しなくても調査や情報取得が可能な自律エージェントモードも備えています。

対象ユーザー

AIエージェント、RAG（検索拡張生成）システム、またはウェブからリアルタイムで構造化データを必要とするあらゆるアプリケーションを構築する開発者向けに設計されています。

ハイライト

  • LLM最適化出力: ウェブコンテンツを自動的にクリーンアップし、Markdownや構造化JSONにフォーマットしてトークンを節約します。
  • 自律エージェントモード: URLを手動で管理するのではなく、目標を記述するだけでエージェントが調査やデータ収集を行えるようにします。
  • フルスタックインタラクション: コンテンツを抽出する前に、クリック、スクロール、待機といった複雑なブラウザ操作をサポートします。
  • 幅広い互換性: Python, Node.js, Go, Java, Elixir, Rust用のSDKを提供し、MCP (Model Context Protocol) クライアントをネイティブサポートしています。

関連

  • プロジェクト
    lumpinif/deepcrawl

    公開ページを AI エージェント向けに最適化されたクリーンなマークダウンと階層的なリンクツリーに変換するオープンソースのウェブサイトデータ抽出プラットフォーム。

  • プロジェクト
    0xMassi/webclaw

    ウェブサイトをクリーンな Markdown、JSON、および LLM 対応のコンテキストに変換し、AI エージェントや RAG パイプラインで利用可能にするウェブ抽出ツール。

  • プロジェクト
    Anakin-Inc/anakin

    アンチ検出ブラウザと機械学習駆動のプロキシ選択を備えたオープンソースのウェブスクレイピング API。ウェブサイトを LLM 対応の markdown または構造化 JSON に変換します。

  • プロジェクト
    firecrawl/cli

    Firecrawl CLI は、Firecrawl の AI を活用した Web スクレイピングおよび検索サービスに接続するターミナルツールです。ページのスクレイピング（Markdown、HTML、JSON、スクリーンショットなど）、ハイライト付き Web 検索、専門の開発者向けまたは政府向けインデックスのクエリ、人気の AI コーディングアシスタント（Claude Code、Cursor、OpenClaw など）に Firecrawl の使い方を自動的に教える「スキル」のインストールが可能です。認証は対話式または API キーで行い、CLI をセルフホストの Firecrawl インスタンスに向けることもできます。`npm i -g firecrawl-cli` でインストールし、`firecrawl <url>` または `firecrawl search "query"` で開始します。

  • プロジェクト
    any4ai/AnyCrawl

    AnyCrawlは、高速でスケーラブルなWebおよびSERPクローリングを実現するオープンソースのNode.jsベースのツールキットです。単一ページスクレイピング、サイト全体のトラバーサル、バッチジョブ、Google SERP取得のREST APIを提供し、Playwright/PuppeteerによるオプションのJavaScriptレンダリングもサポートします。内蔵のLLM抽出機能により、JSONスキーマを指定すると、任意のOpenAI互換モデル（例：Atlas Cloud）を使ってページから構造化データを取得できます。マルチスレッド／マルチプロセスワーカー、Redis/S3キャッシュ、プロキシ設定をサポートし、Docker経由または公開APIで利用可能です。MITライセンスで、AIデータパイプラインや自律エージェントを対象としています。