nossa-y/activity-frames

它解决的问题

电脑使用代理通常会从头开始处理每项任务，即使是您多次执行过的任务，也需要昂贵且重复的推理（截图、推理、行动）。此外，代理缺乏对您最近活动的上下文，意味着他们在每次对话开始时不知道您在电脑上做了什么。

它的工作方式

该项目在本地记录屏幕活动，并将原始快照编译为结构化的“活动帧”——任务的确定性记录。这些帧随后以两种方式使用：

1. 上下文生成：它创建紧凑且可供代理使用的上下文块（已使用应用、访问网站和持续时间的摘要），可以粘贴到系统提示中，让代理了解您的一天。
2. 工作流自动化：它识别重复活动并将其转换为可执行脚本（有序点击和按键，基于元素名称和角色）。这使得代理能够重演示范任务，而不是从头重新推导，从而降低 token 成本并提高可靠性。

适用对象

希望降低 token 开销并为代理提供用户活动的事实性本地内存的电脑使用代理开发者。

亮点

• 确定性内存：使用两层契约，其中测量数据（会话、持续时间）严格与推断解释分离。
• 本地优先隐私：所有捕获、存储和编译都在本地机器上进行；没有数据上传到云端。
• MCP 集成：包含一个 Model Context Protocol (MCP) 服务器，提供工具让代理检索上下文、活动模式和逐步脚本。
• 广泛站点支持：包含超过 25 个主要平台的实体解析器，包括 GitHub、LinkedIn、Slack 和 Notion。