supermemoryai/markdowner

解决的问题

Markdowner 是一款旨在将网站内容转换为结构化、可预测的 Markdown 数据的工具，这能提升大型语言模型 (LLMs) 的回应质量。它提供了一个免费、可自行托管的替代方案，以取代昂贵或专有的网页转 Markdown 转换服务。

运作原理

该工具使用 Cloudflare Browser Rendering 和 Durable Objects 来启动浏览器实例以获取网站内容。接着，它使用 Turndown 库将 HTML 内容转换为 Markdown。它还提供了一个可选的基于 LLM 的过滤器，用于从提取的数据中删除不必要的信息。

目标用户

正在构建 AI 应用程序（例如 RAG 系统）的开发人员，他们需要一种可靠的方法从网络上收集干净、适合 LLM 使用的数据，而无需依赖昂贵的专有工具。

特色亮点

• 可通过 Cloudflare Workers 自行托管
• 将任何网站转换为 Markdown，并提供文本或 JSON 回应选项
• 包含一个自动爬虫，无需网站地图即可抓取最多 10 个子页面
• 可选的 LLM 过滤功能，用于清除网页中的杂讯