fastcrw/crw

解決する課題

fastCRWは、WebコンテンツをMarkdownや構造化されたJSONといった、AIが扱いやすいクリーンな形式に変換するための統合エンジンを提供します。JavaScriptのレンダリングやプロキシ管理といった複雑な要件を処理しつつ、Webのスクレイピング、クローリング、検索に伴う困難を解消します。

仕組み

このプロジェクトは高性能なRustバイナリとして実装されており、ローカルで実行することも、管理されたCloud API経由でアクセスすることも可能です。主に5つの操作を提供します。

• Scrape: 単一のURLをMarkdown、HTML、またはJSONに変換します。
• Crawl: サイト全体を制限付きでクロールし、複数のページを収集します。
• Map: すべてのページをスクレイピングすることなく、サイト内のURLを探索します。
• Search: Webを検索し、必要に応じて結果をスクレイピングします。
• Extract: 1つまたは複数のURLから構造化されたフィールドを抽出します。

また、Model Context Protocol (MCP) サーバーも提供しており、Cursor、Claude Code、WindsurfといったAIコーディングツールと直接統合できます。

対象ユーザー

AIエージェント、RAGパイプライン、データ抽出ツールを構築する開発者向け。独自のスクレイピングインフラを管理することなく、高リコールかつ低レイテンシなWebデータ取得を必要とする方に最適です。

ハイライト

• 高性能: AA-Omniscienceなどのベンチマークにおいて、真のリコール率と回答精度で競合他社を上回ります。
• 柔軟なデプロイ: ローカルのRustバイナリ、管理されたAPI、またはセルフホストオプションから選択可能です。
• 軽量: アイドル時のメモリ消費量は約14 MBです。
• AIエージェント対応: MCPをネイティブサポートしており、AIコーディングアシスタントとシームレスに統合できます。