0xMassi/webclaw

解決する課題

多くのウェブスクレイピングツールは、ナビゲーションメニューや広告、スクリプトで溢れた生の HTML を返しますが、これらは LLM を混乱させます。このプロジェクトは、ウェブサイトを Markdown、JSON、LLM 対応コンテキストといったクリーンで構造化された形式に変換し、AI エージェントや RAG（検索拡張生成）パイプラインがウェブデータを処理しやすくします。

仕組み

これは抽出エンジンとして機能し、CLI、REST API、または MCP (Model Context Protocol) サーバー経由で使用できます。ウェブページを取得し、必要に応じてローカルブラウザを使用して JavaScript を多用するサイトをレンダリングし、不要な要素を取り除いてコンテンツをクリーンアップします。CSS セレクター、XPath、テーブルから JSON への変換、セマンティッククエリなどの高度な機能をサポートしており、AI タスクに必要な関連情報のみを抽出できます。

対象ユーザー

このツールは、LLM に供給するための信頼性が高く、クリーンで構造化されたウェブデータを必要とする、AI エージェント、RAG システム、または自動データ収集パイプラインを構築する開発者向けに設計されています。

ハイライト

• LLM 最適化出力: LLM での利用に最適化されたクリーンな Markdown やコンテキストを返す特定のモードを提供します。
• MCP サポート: Model Context Protocol を介して、Claude Desktop、Cursor、Windsurf などの AI ツールと簡単に統合できます。
• 高度な抽出: CSS セレクター、XPath、および構造化データのための自動テーブルから JSON への変換をサポートしています。
• スマートフィルタリング: テキスト、正規表現、またはセマンティッククエリによるフィルタリング機能を備えており、特定の質問に答えるコンテンツのみを抽出します。
• 開発者フレンドリー: CLI、Python SDK、Docker サポートを提供し、抽出サーバーをセルフホストすることも可能です。