screenpipe: とは何なのか、どのような問題を解決し、なぜ注目を集めているのか

解決する問題

screenpipe は、コンピュータの操作履歴を検索可能な AI 駆動型のメモリとして作成します。画面上で見たこと、聞いたこと、行ったことの忘却という問題を解決し、クラウドベースの画面録画やメモリツールに代わる、ローカルファーストでプライベートな選択肢を提供します。

仕組み

• イベント駆動型キャプチャ: 連続的な録画ではなく、意味のあるイベント（例：アプリの切り替え、クリック、タイピング）が発生したときにのみ、スクリーンショットと OS のアクセシビリティツリー（構造化テキスト）をキャプチャします。アクセシビリティデータが利用できない場合は、OCR にフォールバックします。
• オーディオ処理: システムオーディオとマイク入力を記録し、ローカルの Whisper またはクラウドの Deepgram を使用して、リアルタイムの音声文字起こしを行います。
• ローカルストレージ: すべてのデータは、全文検索（FTS5）を備えたローカルの SQLite データベースに保存され、データがデバイス上に留まることを保証します。
• AI 統合: REST API と MCP (Model Context Protocol) サーバーを提供し、Claude や Cursor のような AI アシスタントがコンテキストとしてあなたの画面履歴を照会できるようにします。
• Pipes: これらは markdown ファイルで定義されたスケジュール実行される AI エージェントであり、あなたの活動に基づいてタスクを自動化できます（例：会議の要約や日次のリキャップ作成）。

対象ユーザー

• ナレッジワーカー や 研究者 で、画面履歴から特定の情報を思い出す必要がある人。
• 開発者 で、AI コーディングアシスタントに作業のリアルタイムなコンテキストを提供したい人。
• ADHD の人々 で、タブ、ドキュメント、会話を追跡するためのツールを探している人。
• リモートワーカー で、自動的な会議の文字起こしやノートが必要な人。
• 企業 で、決定論的な OS レベルのデータ権限管理を用いて、チーム全体に AI エージェントを導入したいと考えている組織。

ハイライト

• 100% ローカル: デフォルトでデータはローカルに保存され、Ollama を介してローカル AI モデルをサポートします。
• MCP サーバー: Claude Desktop や Cursor とシームレスに統合できます。
• 決定論的な権限管理: パイプごとの YAML ベースのアクセス制御により、AI エージェントが許可されていないデータにアクセスすることを防ぎます。
• マルチプラットフォーム: macOS、Windows、および Linux をサポートします。
• 低オーバーヘッド: CPU 使用率 5-10% で、イベント駆動型キャプチャを使用してストレージとディスク使用量を最小限に抑えます。