lumpinif/deepcrawl

何を解決するか

Deepcrawl は、ウェブサイトから高品質で LLM に対応したデータを抽出する問題を解決するように設計されています。AI エージェントのトークンコスト、コンテキストの切り替え、誤った生成（ホールーシュレーション）を低減するために、クリーンなマークダウンと構造化されたリンク階層を必要とする高頻度のエージェントワークロードをターゲットとしています。

動作方法

ウェブサイトデータコンテキスト抽出プラットフォームとして動作します。公開ページを処理し、以下の3つの主要なコンポーネントを抽出します：ページコンテンツのクリーンなマークダウン、階層的なリンクツリー、メタデータ。これらはすべて LLM に最適化されています。

対象ユーザー

コンテキスト抽出のための頻繁で信頼性の高いウェブスクレイピングを必要とする AI エージェントを開発している開発者。

特徴

• エージェント指向： 一般的なスクレイピングではなく、AI エージェントのワークロードに特化して最適化されています。
• LLM 最適化： トークン使用量を最小限に抑えるために、クリーンなマークダウンとメタデータを生成します。
• フルプラットフォーム： Nextjs ダッシュボード、API Workers、Auth Workers、データベースを含みます。
• オープンソース： Firecrawl の無料でオープンソースの代替品です。