us/crw

解決する課題

fastCRWは、WebコンテンツをクリーンなMarkdownや構造化JSONに変換する高性能エンジンを提供し、URLから高品質なAI対応データを抽出する難しさを解決します。Webの検索、スクレイピング、クローリング、データ抽出のために複数の別々のツールを使用する必要性を置き換えます。

仕組み

Rustベースのバイナリとして動作し、ローカルで実行するか、マネージドAPI経由でアクセスできます。エンジンは5つの主要な操作をサポートしています：

• Scrape：単一のURLをMarkdown、HTML、スクリーンショット、またはJSONに変換します。
• Crawl：ページを収集するために制限付きのサイトクロールを実行します。
• Map：すべてのページをスクレイピングせずにサイト内のURLを検出します。
• Search：Webを検索し、オプションで結果をスクレイピングします。
• Extract：1つまたは複数のURLから構造化されたフィールドを生成します。

Model Context Protocol (MCP) を介してAIコーディングツール（Cursor、Windsurf、Claude Codeなど）と統合され、エージェントがそれをスキルとして使用できるようにします。

対象者

Webコンテンツを取得してクリーンアップするために、高速でメモリフットプリントの小さいエンジンを必要とする、AIエージェント、RAGパイプライン、またはデータ抽出ツールを構築する開発者。

ハイライト

• 高効率：アイドル時のRAM使用量は約14 MBです。
• 高精度：真の再現率と回答精度のベンチマークにおいて、FirecrawlやCrawl4AIなどの競合他社を凌駕しています。
• 柔軟なデプロイ：マネージドAPI、ローカルのRustバイナリ、またはセルフホストとして利用可能です。
• エージェント対応：AIコーディングアシスタントとシームレスに統合するためのネイティブなMCPサーバーをサポートしています。