allenv0/SCM
Multimodal visual memory search on macOS
解决的问题
它为 macOS 上的个人照片和视频库提供了一个私有、本地优先的搜索引擎。通过利用人工智能理解视觉内容、口语对话和屏幕文本,无需将文件上传到云端,即可解决在海量媒体库中查找特定时刻或信息的问题。
工作原理
该应用程序完全在您的 Mac 上运行,使用本地机器学习模型对媒体进行索引。它使用视觉模型(如 CLIP 或 SigLIP)为图像和视频帧创建嵌入,使用 Whisper 转录口语对话,并使用 Tesseract 进行 OCR。当您进行搜索时,应用程序会针对这些本地索引执行语义匹配。您还可以选择加入本地 LLM(通过 llama.cpp)与您的媒体库进行对话,从而根据您自己的文件提出问题并获得带引用的答案。
适用人群
它专为希望在保持严格数据隐私的同时整理和搜索个人媒体库的 macOS 用户而设计。对于拥有大量视频和照片存档,且需要查找特定场景、台词或可见文本,同时又不依赖第三方云服务的用户来说,它特别有用。
亮点
- 本地优先隐私:无需账户,无需云端,无数据上传;所有推理均在您的机器上运行。
- 深度视频搜索:将视频分割为场景,让您可以跳转到特定事件发生的精确时刻。
- 多模态检索:支持通过视觉含义、口语对话、可见文本 (OCR) 和文件名进行搜索。
- 智能组织:自动检测图像中的截图和电子邮件地址,并具有将自定义搜索查询保存为持久标签的功能。
- 可扩展 AI:可切换的视觉模型和可选的本地 LLM 集成,用于对您的媒体库进行对话式查询。
相关
- Dispatch
- 项目
- 项目
- 项目
- 项目