ssrajadh/sentrysearch

何を解決するか

SentrySearch は、大量の動画データに対して意味的な検索を可能にします。手動で何時間も録画データをスクロールするのではなく、自然言語の記述（例："赤いトラックが停止標識を無視する"）を入力するか、参照画像を提供することで、関連する動画クリップを検出し、自動的にトリミングできます。

動作方法

このツールは、動画ファイルを重複するチャンクに分割して処理します。これらのチャンクは、マルチモーダルモデル（Google Gemini、Alibaba DashScope、またはローカルの Qwen3-VL モデル）を使用してベクトル埋め込みに変換され、ローカルの ChromaDB データベースに保存されます。ユーザーが検索を行うと、クエリも同じベクトル空間に埋め込まれ、コサイン類似度を使って保存された動画埋め込みと照合されます。システムはまた、視覚言語モデル（VLM）を使用して上位結果を再ランク付けし、より高い精度を実現します。

対象ユーザー

大量の動画データを管理するすべての人々に設計されています。特にテスラのドライブレコーダー所有者や、セキュリティ映像のレビュー担当者など、手動での確認なしに特定のイベントを迅速に検索したい方々に最適です。

特徴

• マルチモーダル検索： テキストベースの自然言語クエリと画像ベースの検索の両方をサポート。
• 柔軟なバックエンド： クラウドベースの API（Gemini、DashScope）または、Qwen3-VL を使用した完全にローカルでプライベートなバックエンドを提供。
• 異常検出： 他のインデックスと大きく異なる統計的に異常なクリップを特定する「ハイライト」機能。
• テスラ統合： テスラドライブレコーダーのテレメトリデータ（速度、位置、時刻）を、トリミングされたクリップに直接埋め込むことが可能。
• 自動トリミング： 元の動画ファイルから一致するセグメントを自動的に抽出し、新しいクリップとして生成。
• エコシステム統合： 他のツールである SentryMerge（マルチカメラのステッチング）および SentryBlur（個人情報のマスキング）と連携可能。