neonwatty/meme-search

何を解決するか

Meme Search は、ローカルライブラリからミームを整理・検索するためのセルフホスト型検索エンジンです。大規模なコレクション内の特定の画像を見つける問題を、AIを用いてミームの視覚的コンテンツとテキストに基づいてインデックス化することで解決します。これにより、セマンティック（ベクトル）検索とキーワード検索の両方が可能になります。

動作方法

システムは、画像からテキストへのモデルの組み合わせを使用して、ミームの説明を生成します。これらの説明は、pgvector拡張機能を備えたPostgreSQLデータベースにベクトル埋め込みとして保存され、高速なセマンティック検索を可能にします。

ユーザーは、Florence-2、SmolVLM、Moondream2などのモデルを内蔵したPythonサービスを使用してローカル推論を選ぶか、外部のOpenAI互換のビジョンAPIを使用できます。アプリケーションは、ミームのアップロード、タグ付け、管理を行うためのWebインターフェースを提供し、サードパーティ統合用に読み取り専用のSearch APIも含んでいます。

対象ユーザー

大規模な個人用ミームコレクションを管理し、クラウドサービスに依存せずにプライベートかつセルフホスト型でインデックス化・検索したいユーザー向けです。

特徴

• 柔軟なAIモデル: 複数のオープンソースのビジョン言語モデル（VLM）をサポートし、サイズの異なるモデルでローカルな説明生成が可能。
• クロスモダリティ検索: キーワード検索とベクトルベースのセマンティック検索を組み合わせ、高精度な検索を実現。
• セルフホスト型プライバシー: 処理を完全にローカルで実行でき、埋め込みと検索をローカルに保つ。
• 統合対応: トークン認証付きSearch API、Python CLI、実験的なブラウザ拡張機能を備えています。
• 組織化ツール: バッチ説明生成、手動編集、タグ付け、ディレクトリの再スキャン（新規ファイル検出）などの機能を提供。