nossa-y/activity-frames

それが解決すること

コンピュータを使用するエージェントは、通常、毎回タスクをゼロから開始し、スクリーンショット、理由付け、行動という高価で繰り返しの推論を必要とします。これは、あなたが何度も実行したタスクでも同様です。さらに、エージェントはあなたの最近の活動についてのコンテキストを欠いているため、あなたがコンピュータで何をしていたかを知らずに毎回会話を開始します。

その仕組み

このプロジェクトはローカルで画面活動を記録し、生のスナップショットを構造化された「アクティビティフレーム」―タスクの決定論的な記録―にコンパイルします。これらのフレームはその後、2つの方法で使用されます：

1. コンテキスト生成：コンパクトでエージェントがすぐに使えるコンテキストブロック（使用したアプリ、訪問したサイト、期間のサマリー）を作成し、これをシステムプロンプトに貼り付けることでエージェントにあなたの一日の状況を伝えます。
2. ワークフロー自動化：繰り返し発生する活動を特定し、それらを実行可能なスクリプト（要素名と役割に基づく順序付きクリックとキーストローク）に変換します。これにより、エージェントはゼロから導出する代わりにデモンストレーションされたタスクを再生できるため、トークンコストが削減され、信頼性が向上します。

対象者

トークンオーバーヘッドを削減し、エージェントにユーザー活動の事実的なローカルメモリを提供したいコンピュータ使用エージェントを開発する開発者。

ハイライト

• 決定論的メモリ：測定データ（セッション、期間）と推論解釈を厳密に分離する2層契約を使用します。
• ローカルファーストプライバシー：キャプチャ、ストレージ、コンパイルはすべてローカルマシンで行われ、クラウドにデータはアップロードされません。
• MCP統合：Model Context Protocol (MCP) サーバーを含み、エージェントがコンテキスト、活動パターン、ステップバイステップスクリプトを取得するためのツールを提供します。
• 広範なサイトサポート：GitHub、LinkedIn、Slack、Notionを含む25以上の主要プラットフォーム用のエンティティパーサーを含みます。