harlan-zw/mdream

解决的问题

Mdream 解决了将原始 HTML 输入到大语言模型 (LLM) 时产生的高昂 Token 成本和低效问题。通过将网页内容转换为简洁、优化的 Markdown，它显著降低了 Token 使用量（在某些情况下可降低高达 92%），从而使处理整个网站或复杂文档以供 AI 应用使用变得更加轻松且经济。

工作原理

该项目提供了使用 Rust（实现原生速度）和 JavaScript（实现可移植性）编写的高性能转换引擎。它支持流式处理，允许在接收到大型 HTML 输入时进行处理。它包含一个爬虫，可以导航网站以生成 llms.txt 文件，这是一种旨在帮助 AI 代理理解网站内容的结构化摘要。它还提供内容提取、Token 高效清理以及与用于 RAG（检索增强生成）管道的向量数据库集成等高级功能。

适用人群

它专为构建 AI 代理、RAG 系统或需要摄取网页数据的 LLM 驱动应用程序的开发人员而设计。对于那些需要爬取文档、总结网站或为自己的项目构建 AI 可发现内容的人来说，它特别有用。

亮点

• 高效率： 通过剥离不必要的 HTML 元素、跟踪参数和冗余链接，减少 Token 消耗。
• 多运行时支持： 提供原生 Rust 性能、用于零依赖环境的纯 JavaScript，以及用于边缘运行时的 WASM。
• 流式处理能力： 以块为单位转换大型 HTML 输入，以保持低延迟。
• 生态集成： 包含用于 CLI 使用、Docker、GitHub Actions、Vite 和 Nuxt 的预构建工具，并支持通过 Playwright 爬取 SPA（单页应用）网站。