lumpinif/deepcrawl
100% free and full open-source edge Firecrawl alternative with better links extraction for agents - that you can deploy to cloudflare or vercel by yourself.
解决的问题
Deepcrawl 旨在解决从网站中提取高质量、适合 LLM 使用的数据的问题。它针对需要清理后的 Markdown 和结构化链接层级的高频 AI 代理工作负载，以降低 AI 代理的 token 成本、上下文切换和幻觉问题。
工作原理
它作为一个网站数据上下文提取平台运行。它处理公开页面，提取三个主要组件：页面内容的清理后 Markdown、层级链接树和元数据，所有内容均针对 LLM 消化进行了优化。
适用人群
需要频繁且可靠地进行网页抓取以提取上下文的 AI 代理开发者。
主要亮点
- 代理导向： 专为 AI 代理工作负载优化，而非通用抓取。
- LLM 优化： 生成清理后的 Markdown 和元数据，以最小化 token 使用量。
- 完整平台： 包含 Nextjs 仪表板、API Workers、Auth Workers 和数据库。
- 开源： Firecrawl 的免费开源替代方案。
相关
- 项目
EverMind-AI/SkillCorpusSkillCorpus is an open-source pipeline that aggregates, curates, and evaluates SKILL.md files from public repositories, then retrieves task-specific skills and injects them into an AI agent's context before it answers. It includes fine-tuned retrieval models, benchmarks, plugins for five agent hosts, and a hosted SkillHub service.
- 项目
- 项目
tommy0103/obeliskObelisk 记录并索引本地编码助手会话（Claude、Copilot 等）到可搜索的 SQLite 数据库，为代理提供 CLI，为人类提供 Electron 应用，用于浏览、查询和生成总结卡片。
- 项目
verl-project/uni-agentUni‑Agent 是一个开源框架，用于将任何基于 LLM 的智能体框架插入可扩展的、沙盒化的管道中，该管道可以并行运行数千个长时程会话，收集可追踪的轨迹，并通过强化学习训练智能体。它提供模块化抽象、可复现的示例配方，并支持像 veFaaS 和 Modal 这样的无服务器后端。