lumpinif/deepcrawl

解决的问题

Deepcrawl 旨在解决从网站中提取高质量、适合 LLM 使用的数据的问题。它针对需要清理后的 Markdown 和结构化链接层级的高频 AI 代理工作负载，以降低 AI 代理的 token 成本、上下文切换和幻觉问题。

工作原理

它作为一个网站数据上下文提取平台运行。它处理公开页面，提取三个主要组件：页面内容的清理后 Markdown、层级链接树和元数据，所有内容均针对 LLM 消化进行了优化。

适用人群

需要频繁且可靠地进行网页抓取以提取上下文的 AI 代理开发者。

主要亮点

• 代理导向： 专为 AI 代理工作负载优化，而非通用抓取。
• LLM 优化： 生成清理后的 Markdown 和元数据，以最小化 token 使用量。
• 完整平台： 包含 Nextjs 仪表板、API Workers、Auth Workers 和数据库。
• 开源： Firecrawl 的免费开源替代方案。