Tencent/WeMM-Embedding

何を解決するか

WeMM-Embedding は、テキスト、画像、動画、視覚ドキュメントといった異なるデータタイプを数学的なベクトル（埋め込み）として統一的に表現する方法を提供します。これにより、異なるモダリティ間での効率的な検索と取得が可能になり、テキストの説明に基づいて動画クリップや画像を検索したり、逆に画像や動画からテキストを検索したりできるようになります。

仕組み

このプロジェクトは、マルチモーダル入力を処理するモデルのファミリー（2B、4B、9Bパラメータ）を提供します。埋め込みは、特定の <embedding> トークン位置における最後のレイヤーの隠れ状態を抽出し、L2正規化を適用することで生成されます。

ストレージと計算の最適化のために、Matryoshka Embeddings を使用しており、フル埋め込みをより小さな次元（例：2048 から 256 に）に切り詰めても、元の性能の大部分を維持できます。

対象ユーザー

テキスト、画像、動画を一つの共有空間で理解・比較できる必要がある、マルチモーダル検索システム、検索エンジン、AIエージェントを開発・研究している開発者や研究者。

主な特徴

• ユニバーサルなマルチモーダル対応: テキスト、画像、動画、視覚ドキュメントを含む、インタリーブ入力も対応。
• 柔軟な次元: Matryoshka 埋め込みにより、精度の大幅な低下なしにベクトルサイズを調整可能。
• 高いパフォーマンス: MMEB-v2 および MMEB-v3 ベンチマークで最先端の結果を達成。
• 簡単な統合: transformers、SentenceTransformers、vLLM、SGLang との互換性あり（サービング対応）。