firecrawl/web-agent

🔥 Open-source web data agent optimized for structured web research

解決する課題

検索、スクレイピング、Webとの対話が可能なリサーチグレードの自律型エージェントを構築するのは複雑です。このプロジェクトは、ゼロから始めるのではなく、独自のエージェントを構築できるようにするためのオープンソースの基盤を提供します。コアとなるオーケストレーション、ツール、テンプレートがバンドルされています。

仕組み

エージェントは「計画・実行・観察」のループで動作します。タスクが完了するまで、計画、実行、観察を繰り返します。このループはLangChainのDeep Agentsハーネスによって提供され、サブエージェントの生成やスキルの読み込みも処理します。Firecrawlのツール(Search、Scrape、Interact、bash)がそのループに組み込まれています。再利用可能なスキル(SKILL.md プレイブック)を追加したり、独立したタスクのために並列サブエージェントを生成したりできます。結果はformatOutputを通じて構造化されたJSONとして返すことができ、エージェントはストリーミングもサポートしています。

対象ユーザー

独自のWebリサーチエージェントを構築したい、または自律的なWebリサーチ機能をアプリケーションに統合したい開発者向けです。動作する基盤をフォークし、モデルを入れ替え、スキルを追加し、独自のインフラストラクチャにデプロイしたい場合に役立ちます。チャットUI (Next.js)、APIサーバー (Express)、またはライブラリ単体のテンプレートが用意されています。

ハイライト

  • チャットUI、ストリーミング、スキル、サブエージェント、構造化出力を備えた、すぐに使えるNext.jsおよびExpressテンプレート
  • LangChainのDeep Agents上に構築されたエージェントコアオーケストレーション。エージェントループ、サブエージェント、スキル、コンテキスト管理を提供
  • Firecrawl AI SDK統合:Search、Scrape、InteractをVercel AI SDKツールとして利用可能
  • formatOutputによる構造化出力と、bashツール (just-bash) によるデータ処理
  • MITライセンスの下でオープンソース化

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト