us/crw

Fast, lightweight Firecrawl/Tavily alternative in Rust. Web scraper, crawler & search API with MCP server for AI agents. Drop-in Firecrawl-compatible API (/scrape, /crawl, /search). 2.3x faster than Tavily, 1.5x faster than Firecrawl in 1K-URL benchmarks. 6 MB RAM, single binary. Self-host or use managed cloud.

解決する課題

AIエージェントは、生のHTMLの複雑さや、ウェブサイトをスクレイピングするために必要なインフラストラクチャに苦労することがよくあります。fastCRWは、あらゆるURLをクリーンでLLMが利用可能なMarkdownまたはスキーマ検証済みのJSONに変換する方法を提供し、開発者が複雑なスクレイピングスタック、プロキシ、またはブラウザレンダリングを管理する必要性を排除します。

仕組み

Rustで構築されたエンジンは、リクエストパスにおいてNodeやChromiumのような重いランタイムのオーバーヘッドを回避する単一の静的バイナリとして動作します。検索、単一ページのスクレイピング、サイト構造のマッピング、サイト全体のクロール、JSON Schemaによる構造化データの抽出、およびページの変更監視という6つのコア操作を提供します。マネージドクラウドサービスとして、またはDocker経由のセルフホストとして使用できます。

対象ユーザー

  • MCPまたはSDK (Python, TypeScript) を介して信頼性の高いウェブデータを求める AIエージェント開発者
  • 低レイテンシで高精度なウェブ抽出を必要とする データエンジニア
  • プロキシやブラウザレンダリングのインフラ管理を避けたい 開発者

ハイライト

  • 高い真実再現率 (High Truth-Recall): 公開データセットにおいて、実際のページコンテンツのキャプチャで競合他社を凌駕します。
  • 低いリソース消費量: アイドル時に約50 MBのRAMを使用し、サブ秒単位のコールドスタートを実現します。
  • エージェント対応: MCPサーバーの組み込みサポートと、エージェント用の再利用可能なインストラクションパックが含まれています。
  • 柔軟なデプロイ: インフラ管理不要のマネージドクラウド、またはセルフホスト可能なオープンソースエンジンを提供します。