MODSetter/SurfSense

解决的问题

SurfSense 为 AI 代理提供了一种无需依赖脆弱的自定义爬虫或高成本高延迟的浏览器代理，即可访问开放网络实时结构化数据的方法。它取代了从 Reddit、YouTube 和 Amazon 等平台收集信息时所需的复杂 HTML 解析和速率限制管理。

工作原理

SurfSense 作为一个研究平台运行，将各种网络连接器统一暴露为单一的 REST API 或 MCP（模型上下文协议）服务器。这使得 AI 代理可以调用特定工具（例如 surfsense_reddit_scrape）来获取结构化 JSON 数据，而非原始 HTML。它还包含一个研究工作区，具备知识库用于存储发现成果，交付物工作室用于创建报告和播客，以及自动化引擎用于执行定时研究任务。

适用人群

专为开发 AI 代理的开发者、需要结构化方式监控网络的研究人员，以及寻求 Google NotebookLM 开源且可自托管替代方案的用户设计。

主要亮点

• 实时数据连接器：内置 Reddit、YouTube、Instagram、TikTok、Google Maps、Google Search、Indeed 和 Amazon 的爬虫。
• MCP 服务器支持：原生支持使用 Claude、Cursor 或其他代理框架的代理工具集成。
• 知识库：支持上传文档和同步云存储（Google Drive、OneDrive、Dropbox）的混合语义搜索与全文搜索。
• 交付物工作室：AI 生成的报告、可编辑的幻灯片、双主持人 AI 播客。
• 可扩展的 LLM 支持：通过 LiteLLM 兼容 100 多个 LLM，支持通过 Ollama 和 vLLM 使用本地模型。
• 可自托管：可通过 Docker 部署，实现完全数据隐私和免费使用。