harlan-zw/mdream

何を解決するか

Webコンテンツは、Large Language Models (LLMs) に投入される際に過剰なトークンを消費するHTMLタグで膨張していることが多く、コストが増加し、有効なコンテキストウィンドウが縮小されます。Mdreamは、LLMの消費に特化したクリーンでトークン効率の高いMarkdownにHTMLを変換する、高性能な方法を提供します。

仕組み

複数のエンジンオプションを使用してHTMLをGitHub Flavored Markdownに変換します：最大の速度を実現するネイティブRustエンジン、エッジ/ブラウザランタイム向けのWASMエンジン、ゼロ依存環境向けの純JavaScriptエンジン。また、「minimal」プリセットと「clean」モードを備えており、不要なリンク、空の画像、トラッキングパラメータを削除してトークン使用量を最小限に抑えます。

さらに、@mdream/crawl というクローラーパッケージを提供しており、ウェブサイト全体を走査して llms.txt アーティファクト（AIツールがサイトコンテンツを発見・理解するのに役立つ統合テキストファイル）を生成できます。

対象ユーザー

• AIエンジニア：ベクトルデータベース用にウェブデータをクロール・チャンク化する必要があるRAG（Retrieval-Augmented Generation）システムを構築する人。
• 開発者：ClaudeやGPTなどのLLM CLIにウェブページを最小限のトークン浪費で直接入力したい人。
• サイト所有者：自社サイトを llms.txt を通じてAIが発見できるようにしたい人。

特徴

• 極めて高いパフォーマンス：Turndownより最大37倍高速で、他のRustベースのコンバーターと比べても大幅に高速。
• トークン最適化：競合ライブラリと比べて最大2倍少ないトークンを生成し、元のHTMLと比べて最大92%少ないトークンを使用。
• ストリーミング対応：大規模ドキュメント向けにストリーミングをサポートする、唯一のJavaScript HTML-to-markdownコンバーター。
• 多様なデプロイオプション：Rust crate、Node.jsパッケージ、Dockerイメージ、GitHub Action、ブラウザCDNから利用可能。
• LLMアーティファクト生成：llms.txt および llms-full.txt の生成機能を内蔵し、サイトの発見を支援。