harlan-zw/mdream

解決する課題

Mdreamは、生のHTMLを大規模言語モデル（LLM）に入力する際の高いトークンコストと非効率性に対処します。Webコンテンツをクリーンで最適化されたMarkdownに変換することで、トークン使用量を大幅に削減（場合によっては最大92%削減）し、AIアプリケーションのためにWebサイト全体や複雑なドキュメントをより簡単かつ安価に処理できるようにします。

仕組み

このプロジェクトは、Rust（ネイティブな速度を実現）とJavaScript（移植性を実現）で記述された高性能な変換エンジンを提供します。ストリーミングをサポートしており、大きなHTML入力を受信しながら処理することが可能です。また、Webサイトを巡回して llms.txt ファイルを生成するクローラーが含まれています。これは、AIエージェントがサイトの内容を理解しやすくするための構造化された要約です。さらに、コンテンツ抽出、トークン効率の良いクリーンアップ、RAG（検索拡張生成）パイプラインのためのベクトルデータベースとの統合といった高度な機能も提供します。

対象ユーザー

AIエージェント、RAGシステム、またはWebデータの取り込みが必要なLLM駆動型アプリケーションを構築する開発者向けに設計されています。ドキュメントのクロール、Webサイトの要約、または自身のプロジェクトのためにAIが発見可能なコンテンツを構築する必要がある方に特に役立ちます。

ハイライト

• 高効率： 不要なHTML要素、トラッキングパラメータ、冗長なリンクを取り除くことで、トークン消費を削減します。
• マルチランタイムサポート： ネイティブなRustのパフォーマンス、依存関係ゼロの環境向けの純粋なJavaScript、およびエッジランタイム向けのWASMを提供します。
• ストリーミング機能： 大きなHTML入力をチャンク単位で変換し、低遅延を維持します。
• エコシステム統合： CLI、Docker、GitHub Actions、Vite、Nuxt向けのビルド済みツールが含まれており、Playwrightを介したSPA（シングルページアプリケーション）サイトのクロールもサポートしています。