ssrajadh/sentrysearch

解决的问题

SentrySearch 允许对视频素材进行语义搜索，用户可以通过输入自然语言描述或提供参考图像来查找特定时刻。它消除了手动浏览数小时视频以寻找特定事件的需要，自动将最相关的片段剪裁为独立的视频剪辑。

工作原理

该工具将视频分割为重叠的片段，并使用多模态模型（Google Gemini、Alibaba Qwen 或本地 Qwen3-VL 模型）为每个片段生成嵌入向量。这些向量被存储在本地 ChromaDB 数据库中。当用户进行搜索时，查询（文本或图像）会被嵌入到相同的向量空间，并使用余弦相似度与存储的视频嵌入进行匹配。匹配度最高的结果将通过 ffmpeg 从原始文件中自动剪裁出来。

适用人群

适用于需要快速定位特定视觉事件的大量视频素材管理者，例如行车记录仪用户或安防摄像头操作员。

主要亮点

• 灵活的后端支持：支持云 API（Gemini、DashScope）和本地执行（Apple Silicon 用的 PyTorch 或 MLX），兼顾隐私与离线使用。
• 多模态搜索：支持使用自然语言文本或参考图像进行搜索。
• 异常检测：highlights 功能可识别并剪裁索引中统计上最异常的片段。
• VLM 重排序：可选的 --rerank 标志使用视觉语言模型（VLM）对初始嵌入结果进行优化，以提高准确性。
• 硬件优化：针对 Apple Silicon（MLX）和 NVIDIA GPU（4-bit 量化）进行了专门优化，降低内存占用和处理时间。