supermemoryai/markdowner

解決する課題

Markdownerは、Webサイトのコンテンツを構造化された予測可能なMarkdownデータに変換し、大規模言語モデル（LLM）の回答品質を向上させるために設計されたツールです。高価な商用Web-to-Markdown変換サービスの代替となる、無料でセルフホスト可能なソリューションを提供します。

仕組み

このツールは、Cloudflare Browser RenderingとDurable Objectsを使用してブラウザインスタンスを起動し、Webサイトのコンテンツを取得します。その後、Turndownライブラリを使用してHTMLコンテンツをMarkdownに変換します。また、抽出されたデータから不要な情報を削除するための、LLMベースのオプションフィルターも備えています。

対象ユーザー

RAGシステムなどのAIアプリケーションを構築しており、高価な商用ツールに頼ることなく、WebからクリーンでLLMに適したデータを収集する信頼性の高い方法を必要としている開発者。

主な特徴

• Cloudflare Workers経由でセルフホスト可能
• あらゆるWebサイトをMarkdownに変換し、テキストまたはJSON形式でのレスポンスを選択可能
• サイトマップなしで最大10個のサブページを取得できる自動クローラーを搭載
• Webページのノイズを除去するためのオプションのLLMフィルタリング機能