nicobailon/pi-web-access

解决的问题

Pi Web Access 为 Pi 代理提供了一个全面的网络交互层，使其能够执行网络搜索、从各种来源提取内容，并理解视频内容。它解决了为 AI 代理提供一个可靠、多提供商搜索和内容检索系统的问题，具备智能回退机制，并对 GitHub 仓库、YouTube 视频和 PDF 等复杂格式进行专门处理。

工作原理

该项目实现了一组工具（web_search、fetch_content、get_search_content 和 source_check），Pi 代理可以使用这些工具与网络进行交互。它支持大量搜索提供商（例如 OpenAI、Brave、Exa、Tavily、Gemini、Mistral）和内容提取方法。

关键机制包括：

• 智能回退：使用一系列顺序执行的提供商，即使某个提供商失败，也能确保搜索和获取请求成功。
• 专用提取：不采用简单的爬取，而是将 GitHub 仓库本地克隆以获得完整的文件访问权限，并使用 Gemini 实现基于视觉和字幕的视频理解。
• PDF 处理：通过分层系统（Datalab、Gemini 或本地 unpdf）将 PDF 转换为 Markdown，以保持文档结构。
• 缓存：获取的内容存储在本地缓存中，使代理能够检索特定段落而无需将整个页面重新加载到上下文窗口中。

适用人群

本工具适用于希望扩展 Pi 代理能力的用户，包括实时网络访问、通过 GitHub 克隆进行深度技术研究，以及对视频和 PDF 文档进行多模态分析。

主要亮点

• 广泛的提供商支持：集成数十个搜索 API，并支持通过 Exa MCP 实现零配置搜索。
• 视频理解：使用 Gemini 和 ffmpeg 从 YouTube 和本地视频中提取字幕、视觉描述和特定帧。
• get_search_content：允许代理使用偏移量和模糊文本搜索高效导航大型页面。
• GitHub 集成：将仓库本地克隆，实现真正的文件探索，而非 HTML 爬取。
• 源验证：专用的 source_check 工具，使用机器可读引用和 SHA-256 哈希验证声明。