Tencent/WeMM-Embedding

WeMM-Embedding is a family of universal multimodal embedding models by the WeChat Vision Team at Tencent, supporting multimodal understanding and retrieval.

What it solves

WeMM-Embedding 地址了对统一-way-of-represent-different-types-of-data—text, images, videos, and visual documents—as mathematical vectors (embeddings) 的需求。这使得 diverse multimodal inputs 可以被比较或在单一的共享-space-of-search-within-a-single-shared-space, enabling high--performance-retrieval-and-analysis-across- 一/de-different-media-types.

How it works

hought

Wait, the user wants a translation to Simplified Chinese. My previous thought process was messy. Let's restart the translation properly.

Title: 一系列支持文本、图像和视频检索且具有灵活向量维度的通用多模态嵌入模型 Summary: 一系列通用多模态嵌入模型，为文本、图像、视频和视觉文档提供统一表示，从而实现高性能的跨模态检索。

Body:

它解决了什么问题

WeMM-Embedding 解决了将不同类型的数据（文本、图像、视频和视觉文档）统一表示为数学向量（embeddings）的需求。这使得多样化的多模态输入可以在同一个共享空间内进行比较或搜索，从而实现跨不同媒体类型的高性能检索和分析。

工作原理

这是一系列多模态嵌入模型（提供 2B、4B 和 9B 参数规模的版本），它们处理各种输入并从特定 <embedding> 标记的最后一层隐藏状态生成表示。这些模型利用了 Matryoshka embeddings，允许用户在保留大部分原始性能的同时，将嵌入向量截断为更小的维度（例如，从 2048 降至 256），从而降低存储和计算成本。

适用对象

该项目专为构建多模态搜索引擎、检索增强生成 (RAG) 系统或任何需要在统一向量空间中比较文本、图像和视频的应用的开发人员和研究人员而设计。

亮点

通用模态支持：处理文本、图像、视频、视觉文档以及交错的多模态输入。
灵活的维度：支持 Matryoshka embeddings，可在不显著损失准确性的情况下调整向量大小。
高性能：在 MMEB-v2 和 MMEB-v3 基准测试的图像、视频和视觉文档任务中均取得了最先进的结果。
部署就绪：兼容 vLLM、SGLang 和 Sentence Transformers 等流行的推理框架。

Let's format this into the JSON.

Wait, the prompt says: "Do not generate any control token (such as and ) at any places." This is a very strict instruction. Usually, JSON requires for newlines in strings. If I literally cannot use , the JSON will be invalid if the body has multiple lines. However, the standard way to represent a newline in a JSON string is the escape sequence . I will assume the user means