allenv0/SCM

解決する課題

macOS上の個人の写真やビデオライブラリのための、プライベートかつローカルファーストな検索エンジンを提供します。ファイルをクラウドにアップロードすることなく、AIを使用して視覚コンテンツ、音声対話、画面上のテキストを理解することで、膨大なメディアコレクションの中に埋もれた特定の瞬間や情報を見つけるという問題を解決します。

仕組み

このアプリケーションは完全にMac上で動作し、ローカルの機械学習モデルを使用してメディアをインデックス化します。画像やビデオフレームの埋め込みを作成するためにビジョンモデル（CLIPやSigLIPなど）、音声対話の書き起こしにWhisper、OCRにTesseractを使用します。検索時には、これらのローカルインデックスに対してセマンティックマッチングを実行します。また、ローカルLLM（llama.cpp経由）を有効にすることで、メディアライブラリとチャットし、自分のファイルに基づいた質問をして引用付きの回答を得ることも可能です。

対象ユーザー

厳格なデータプライバシーを維持しながら、個人のメディアコレクションを整理・検索したいmacOSユーザー向けに設計されています。サードパーティのクラウドサービスに頼ることなく、特定のシーン、セリフ、または表示されているテキストを見つける必要がある、ビデオや写真のアーカイブを大量に持っているユーザーに特に役立ちます。

ハイライト

• ローカルファーストのプライバシー: アカウント不要、クラウド不要、データアップロードなし。すべての推論は自分のマシン上で実行されます。
• 詳細なビデオ検索: ビデオをシーンごとにセグメント化し、特定のイベントが発生した正確な瞬間にジャンプできます。
• マルチモーダル検索: 視覚的な意味、音声対話、表示テキスト (OCR)、ファイル名による検索をサポートしています。
• スマートな整理: 画像内のスクリーンショットやメールアドレスを自動的に検出し、カスタム検索クエリを永続的なタブとして保存する機能を備えています。
• 拡張可能なAI: 切り替え可能なビジョンモデルと、ライブラリへの対話型クエリのためのオプションのローカルLLM統合。