firecrawl/web-agent
🔥 Open-source web data agent optimized for structured web research
解决的问题
构建一个能够搜索、抓取并与 Web 交互的研究级自主代理非常复杂。本项目提供了一个开源基础,让您可以直接构建自己的代理,而无需从零开始。它集成了核心编排、工具和模板。
工作原理
该代理在“计划-行动-观察”循环中运行:它进行计划、执行行动、观察结果,并重复此过程直到任务完成。该循环由 LangChain 的 Deep Agents 框架提供,该框架还负责处理子代理生成和技能加载。Firecrawl 的工具(Search、Scrape、Interact、bash)被连接到该循环中。您可以添加可重用的技能(SKILL.md 手册)并为独立任务生成并行子代理。结果可以通过 formatOutput 以结构化 JSON 形式返回,并且代理支持流式传输。
适用人群
想要构建自己的 Web 研究代理或将自主 Web 研究集成到其应用程序中的开发人员。如果您想分叉一个可用的基础、更换模型、添加技能并在自己的基础设施上部署,它非常有用。它提供了聊天 UI (Next.js)、API 服务器 (Express) 或纯库的模板。
主要亮点
- 开箱即用的 Next.js 和 Express 模板,包含聊天 UI、流式传输、技能、子代理和结构化输出
- 基于 LangChain 的 Deep Agents 构建的代理核心编排,提供代理循环、子代理、技能和上下文管理
- Firecrawl AI SDK 集成:将 Search、Scrape 和 Interact 作为 Vercel AI SDK 工具
- 通过 formatOutput 实现结构化输出,并通过 bash 工具 (just-bash) 进行数据处理
- 在 MIT 许可下开源
相关
- 项目
- 项目
- 项目
- 项目