Tencent/WeMM-Embedding

解決する課題

WeMM-Embeddingは、テキスト、画像、動画、視覚的ドキュメントといった異なる種類のデータを、数学的なベクトル（埋め込み）として統一的に表現するニーズに対応します。これにより、多様なマルチモーダル入力を単一の共有空間内で比較・検索できるようになり、異なるメディアタイプにわたる高性能な検索と分析が可能になります。

仕組み

これはマルチモーダル埋め込みモデルのファミリー（2B、4B、9Bのパラメータサイズで利用可能）であり、さまざまな入力を処理し、特定の<embedding>トークンにおける最終層の隠れ状態から表現を生成します。これらのモデルはMatryoshka埋め込みを利用しており、ユーザーは元のパフォーマンスの大部分を維持したまま埋め込みベクトルをより小さな次元に切り詰める（例：2048から256へ）ことができ、ストレージと計算コストを削減できます。

対象者

本プロジェクトは、マルチモーダル検索エンジン、検索拡張生成（RAG）システム、または統一されたベクトル空間でテキスト、画像、動画を比較する必要があるあらゆるアプリケーションを構築する開発者や研究者向けに設計されています。

ハイライト

• 汎用的なモダリティサポート: テキスト、画像、動画、視覚的ドキュメント、およびインターリーブされたマルチモーダル入力を処理します。
• 柔軟な次元: 精度の大幅な低下なしにベクトルサイズを調整できるMatryoshka埋め込みをサポートしています。
• 高性能: 画像、動画、視覚的ドキュメントのタスクにおいて、MMEB-v2およびMMEB-v3ベンチマークで最先端の結果を達成しています。
• デプロイ準備完了: vLLM、SGLang、Sentence Transformersなどの一般的な推論フレームワークと互換性があります。