SCM（スクリーンメモリーズ）macOS向けAI検索

SCM（スクリーンメモリーズ）は、macOS向けのローカルファーストAI検索ユーティリティで、指定したフォルダ内のすべての写真と動画のすべてのフレームを、ローカルビジョンモデルを使用して検索できます。すべての推論をマシン上で実行することで、SCMはメディアがデバイスから出ることを防ぎ、クラウドベースのメディアインデックスに代わるプライベートな選択肢を提供します。

5つの専門検索モード

SCMは、さまざまな種類のメディアデータを処理するために5つの異なる検索モードを実装しており、ユーザーが形式に関係なく特定の瞬間やテキストを見つけることを保証します。

セマンティックファイルおよびシーン検索

SCMはビジョンモデルを使用して、画像埋め込みに対するコサイン類似度で結果をランク付けします。

ファイルモード：意味によって写真と動画全体を検索し、ファイル名とフレーズのブーストを伴うビジョンランキングを使用します。
シーンモード：動画をショットに分割して埋め込み、ユーザーがファイルを見つけるだけでなく、動画内の特定のタイムコードに直接ジャンプできるようにします。

OCRおよび対話検索

文字通りのテキスト検索のために、SCMはビジョンモデルをバイパスして、速度とオフラインでの利用可能性を確保します。

OCRモード：Tesseractを使用して、画像やフレーム内の表示テキストに対してクエリトークンを文字通り一致させます。英語と追加の35の切り替え可能な言語をサポートします。
対話モード：OpenAIのWhisper（tiny.enまたはbase.en）を使用して、動画の文字起こしに対して正確な文字通りの検索を実行します。3つの一致レベルを提供します：正確な行、8秒のウィンドウ内の正確な単語、同じ動画内で話された任意の単語。

ローカルLLM統合（オプトイン）

SCMには、llama.cppサイドカーによって駆動されるオプションの「Ask」モードが含まれています。これにより、ユーザーはRAG（検索拡張生成）アプローチを使用してローカルライブラリとチャットでき、モデルは抽出された対話、OCRテキスト、ファイル名に基づいて質問に回答します。サポートされているモデルには、Qwen3 1.7B（デフォルト）とLlama 3.2 3Bが含まれます。

技術アーキテクチャとパイプライン

SCMはElectronとBunを使用して構築されており、インデックス作成と推論のためにさまざまな専門ワーカーを利用しています。

ビジョンモデルの選択

ユーザーは、速度と詳細のニーズに応じて4つのONNX Runtimeモデルを切り替えることができます：

CLIP ViT-L/14@336：実世界の動画シーン検索のデフォルト。
SigLIP-2-B/16：最速の一括インポートに最適化。
SigLIP-2-L/16@256：小さなオブジェクトや画面上のテキスト用の高詳細モデル。
SigLIP-B/16@384：最大の詳細。

動画処理パイプライン

動画インデックス作成の計算負荷を処理するために、SCMはffmpegを使用してショット境界をスキャンし、セグメントプランを構築します。ユーザーは「Eco」（ポイントあたり60秒）から「Ultra Pro」（ポイントあたり2.5秒）までの5つのサンプリングプリセットから選択できます。各セグメントは中間点のフレームを埋め込み、迅速な取得のためにポスターを保存します。

ライブラリ管理とプライバシー

SCMは「設計によるプライバシー」の哲学を採用しています。すべての重み（Hugging Face、Tesseract CDN、GitHub）は一度ダウンロードされ、SHA-256で検証されます。メディアはアプリ管理のライブラリにコピーされ、ディスクからストリーミングされます。システムはSHA-256コンテンツハッシュを使用して重複排除を行い、名前が変更されたファイルが不必要に再インデックスされないようにします。

コミュニティの洞察と考慮事項

Hacker Newsでのユーザー間の議論では、このツールのいくつかの技術的なトレードオフと潜在的な改善点が強調されました：

インデックス作成パフォーマンス：ユーザーは、フレームサンプリングレートがパフォーマンスに重要であると指摘しました。ある開発者は、12kの動画を毎秒1フレームでサンプリングすると数日かかる可能性があると述べ、SCMの設定可能なサンプリングプリセットの重要性を強調しました。
OCRフレームワーク：一部のユーザーは、AppleのネイティブVisionフレームワークが、macOS固有のアプリケーションではTesseractよりもパフォーマンスが高く正確であると提案しました。
代替ツール：Immichは、同様のAI搭載の写真および動画検索機能を提供するクロスプラットフォームの代替手段として言及されました。
リソース消費：大規模なライブラリ（例：12,000本の動画）の処理にかかる時間と計算コストに関する質問がありましたが、SCMはバックグラウンドの再埋め込みプロセスとキャッシュされたショットプランを通じてこれに対処しています。

「これはMac用なので、OCRにはAppleのVisionフレームワークを使うべきです。速度と精度の両方でTesseractを圧倒します。」

インストールと要件

SCMにはmacOS 12以上とBunパッケージマネージャーが必要です。Homebrewを使用して次のコマンドでインストールできます：

brew tap allenv0/scm
brew trust allenv0/scm
brew install --cask allenv0/scm/scm