nossa-y/activity-frames

它解決的問題

電腦使用代理通常會從頭開始處理每項任務，即使是您多次執行過的任務，也需要昂貴且重複的推理（截圖、推理、行動）。此外，代理缺乏對您最近活動的上下文，意味著他們在每次對話開始時不知道您在電腦上做了什麼。

它的運作方式

該專案在本機記錄螢幕活動，並將原始快照編譯為結構化的「活動幀」——任務的确定性記錄。這些幀接著以兩種方式使用：

1. 情境生成：它會創建緊湊且可供代理使用的情境區塊（已使用應用程式、訪問網站和持續時間的摘要），可貼入系統提示中，讓代理了解您的一天。
2. 工作流程自動化：它會識別重複發生的活動，並將其轉換為可執行的腳本（以元素名稱和角色為基礎的有序點擊和按鍵）。這使得代理能夠重播示範的任務，而不是從頭重新推導，從而降低 token 成本並提高可靠性。

適合對象

希望降低 token 開銷並為代理提供使用者活動的事實性本地記憶的電腦使用代理開發者。

特色

• 確定性記憶：使用兩層契約，其中測量資料（會話、持續時間）與推論解釋嚴格分離。
• 本地優先隱私：所有捕捉、儲存和編譯都在本機進行；不會將資料上傳至雲端。
• MCP 整合：包含一個 Model Context Protocol (MCP) 伺服器，提供工具讓代理檢索情境、活動模式和逐步腳本。
• 廣泛網站支援：包含超過 25 個主要平台的實體解析器，包括 GitHub、LinkedIn、Slack 和 Notion。