screenpipe: 它是什么,解决了什么问题,以及为什么它正受到关注

screenpipe: 它是什么,解决了什么问题,以及为什么它正受到关注

它解决了什么问题

screenpipe 为您的计算机活动创建一个可搜索的、由 AI 驱动的记忆。它解决了忘记您在屏幕上看过、听过或做过什么的难题,为基于云端的屏幕录制和记忆工具提供了一个本地优先、私密的替代方案。

它是如何工作的

  • 事件驱动捕获:它不是进行持续录制,而是在发生有意义的事件(例如应用切换、点击、输入)时才捕获屏幕截图和 OS accessibility tree(结构化文本)。当 accessibility 数据不可用时,它会回退到 OCR。
  • 音频处理:它记录系统音频和麦克风输入,使用本地 Whisper 或云端 Deepgram 进行实时语音转文本转录。
  • 本地存储:所有数据都存储在带有全文搜索 (FTS5) 功能的本地 SQLite 数据库中,确保数据保留在设备上。
  • AI 集成:它提供 REST API 和一个 MCP (Model Context Protocol) 服务器,允许 Claude 或 Cursor 等 AI 助手查询您的屏幕历史记录以获取上下文。
  • Pipes:这些是在 markdown 文件中定义的计划 AI 代理,可以根据您的活动自动执行任务(例如,总结会议或创建每日回顾)。

它是为谁准备的

  • 知识工作者研究人员,需要从屏幕历史记录中找回特定的信息。
  • 开发者,希望为 AI 编程助手提供其工作的实时上下文。
  • ADHD 患者,正在寻找一种工具来追踪标签页、文档和对话。
  • 远程工作者,需要自动会议转录和笔记。
  • 企业,希望在团队中部署 AI 代理,并具备确定性的 OS 级数据权限控制。

亮点

  • 100% 本地:默认情况下数据存储在本地,并支持通过 Ollama 使用本地 AI 模型。
  • MCP Server:与 Claude Desktop 和 Cursor 等 AI 助手无缝集成。
  • 确定性权限:基于每个 pipe 的 YAML 访问控制,防止 AI 代理访问未经授权的数据。
  • 多平台支持:支持 macOS, Windows, 和 Linux。
  • 低开销:使用 5-10% 的 CPU,并采用事件驱动捕获,以最大限度地减少存储和磁盘占用。

Sources