chn-lee-yumi/MaterialSearch

解決する課題

MaterialSearch を使用すると、ユーザーは自然言語による説明や既存の画像を使用して、ローカルに保存された写真や動画のコレクションを検索できます。手動でのタグ付けや複雑なフォルダ構造に頼ることなく、特定のビジュアルメディアを見つけることが可能です。

仕組み

システムはローカルディレクトリ内の画像や動画をスキャンし、CLIP ベースのモデル（具体的には chinese-clip-vit-base-patch16）を使用して検索可能な埋め込みベクトルを作成します。テキストから画像、画像から画像、テキストから動画、画像から動画への検索をサポートしており、動画検索では提供されたクエリに基づいて特定のクリップやセグメントを特定します。

対象ユーザー

大量のローカルビジュアルアセットライブラリを管理しており、従来のファイル名やメタデータに依存せずに、AI を活用した高速な方法で特定のコンテンツを検索したい個人向けに設計されています。

主な特徴

• マルチモーダル検索: テキストによる説明と画像サンプルの両方を使用して、画像や動画を検索できます。
• 動画セグメント検索: 動画ファイル全体だけでなく、動画内の特定のクリップを見つけることができます。
• ハードウェアの柔軟性: CPU (amd64) で動作し、GPU アクセラレーションによる高速処理もサポートしています。
• 簡単なデプロイ: 事前にパッケージ化された Windows バンドルまたは Docker イメージが利用可能で、セットアップが簡素化されています。