getmaxun/maxun

Maxun – 将任何网站转换为结构化 API

它是什么 – Maxun 是一个开源网页数据平台，让您可以从任何网站抓取、爬取、监控并提取结构化信息。它结合了传统网页抓取与 AI 辅助提取，让您能以自然语言描述所需的资料，或记录浏览器操作以建立可重复使用的“机器人”。

主要功能

• 提取 – 将页面内容转换为结构化记录。两种模式：
  • 录制器 (Recorder)：记录浏览器中的点击/滚动操作，并将其重播为提取机器人。
  • AI：编写简单的英文提示（例如：“列出所有产品名称和价格”）并让 LLM 解析页面。
• 抓取 (Scrape) – 将完整页面保存为 Markdown、HTML 或屏幕截图。
• 爬取 (Crawl) – 遍历整个网站，并将提取机器人应用于每个页面。
• 搜索 (Search) – 在 Maxun 内查询网页并按时间筛选结果。
• 监控 (Monitoring) – 监控页面变更并接收警报。
• 文档解析 (Document parsing) – 从 PDF、DOCX 等文件中提取表格、表单或其他结构化数据。

互动方式

• 仪表板 (Dashboard) – 用于无需代码即可建立和执行机器人的托管 UI (app.maxun.dev)。
• API – 用于程序化访问抓取和提取功能的 REST 端点。
• SDK – 特定语言的函数库（例如 Node.js SDK），可将 Maxun 嵌入您自己的应用程序中。
• CLI – 用于建立机器人、触发执行和获取结果的命令行工具。
• MCP (Model Context Protocol) – 一个让外部 AI 代理将 Maxun 作为数据来源调用的挂钩。

入门指南

1. 试用托管服务 – 在 https://app.maxun.dev 注册并立即开始建立机器人。
2. 本地运行 – 依照文档中的 Docker-Compose 或本地安装指南进行操作。存储库包含自行托管所需的所有代码。
3. 使用 SDK/CLI – 安装 Node SDK (npm i @maxun/sdk) 或 CLI，从您自己的代码库中编写作业脚本。

典型使用案例

• 通过从电子商务网站提取清单来建立产品价格 API。
• 监控竞争对手网页的价格或内容变更。
• 从仅提供 HTML 页面的公共入口网站收集研究数据。
• 通过 MCP 集成将最新的网页内容输入到由 LLM 驱动的代理中。

授权 – 本项目以 AGPL-v3 授权发布，鼓励开放协作，同时要求任何网络部署的修改也必须共享。

社区与支持 – 存储库列出了赞助商（代理提供者），并提供 Discord、教学视频和文档网站。欢迎通过 Pull Request 进行贡献，项目也鼓励商业用户赞助或回馈。