Tencent/WeMM-Embedding

WeMM-Embedding is a family of universal multimodal embedding models by the WeChat Vision Team at Tencent, supporting multimodal understanding and retrieval.

解决的问题

WeMM-Embedding 提供了一种统一表示不同类型数据（文本、图像、视频和视觉文档）的方法，将它们转换为数学向量（嵌入）。这使得跨模态的高效搜索和检索成为可能，系统可以根据文本描述查找视频片段或图像，反之亦然。

工作原理

该项目提供了一系列模型（2B、4B 和 9B 参数），用于处理多模态输入。通过提取特定 <embedding> 令牌位置的最后层隐藏状态，并应用 L2 归一化，生成嵌入。

为了优化存储和计算，模型使用了 Matryoshka Embeddings，允许用户将完整嵌入截断为更小的维度（例如从 2048 降至 256），同时保留原始性能的大部分。

适用人群

需要在单一共享空间中理解并比较文本、图像和视频的多模态检索系统、搜索引擎或 AI 代理的开发者和研究人员。

主要亮点

  • 通用多模态支持：支持文本、图像、视频和视觉文档，包括交错输入。
  • 灵活维度：支持 Matryoshka 嵌入，可在不显著损失准确率的情况下调整向量大小。
  • 高性能：在 MMEB-v2 和 MMEB-v3 基准测试中达到最先进水平。
  • 易于集成：兼容 transformers、SentenceTransformers、vLLM 和 SGLang 用于服务。

相关