Qwen3 Embedding 与 Reranker 发布

Qwen 已发布 Qwen3 Embedding 系列，这是一套基于 Qwen3 基础模型的专有模型，旨在实现跨 100 多种语言的最先进文本嵌入、检索和重排序。这些模型在 Apache 2.0 许可证下开源，并可在 Hugging Face 和 ModelScope 上获取。

模型能力与性能

Qwen3 Embedding 系列在多语言文本理解和检索方面实现了最先进的性能。截至 2025 年 6 月 5 日，8B 嵌入模型在 MTEB 多语言排行榜上排名第一，得分为 70.58。

重排序基准

重排序模型在多个基准上展示了搜索相关性的显著提升。以下是重排序系列的性能指标：

模型 MTEB-R CMTEB-R MMTEB-R MLDR MTEB-Code FollowIR
Qwen3-Reranker-0.6B 65.80 71.31 66.36 67.28 73.42 5.41
Qwen3-Reranker-4B 69.76 75.94 72.74 69.97 81.20 14.84
Qwen3-Reranker-8B 69.02 77.45 72.94 70.19 81.22 8.05

注：所有分数均基于 Qwen3-Embedding-0.6B 模型检索的前 100 条候选结果。

模型规格

该系列提供了灵活的模型规模（0.6B 至 8B），以平衡效率与效果。嵌入模型和重排序模型均支持 32K 的序列长度，并具备指令感知能力，允许用户为特定任务或语言自定义输入指令。

文本嵌入模型

模型 规模 层数 嵌入维度 MRL 支持
Qwen3-Embedding-0.6B 0.6B 28 1024 是
Qwen3-Embedding-4B 4B 36 2560 是
Qwen3-Embedding-8B 8B 36 4096 是

文本重排序模型

模型 规模 层数 序列长度 指令感知
Qwen3-Reranker-0.6B 0.6B 28 32K 是
Qwen3-Reranker-4B 4B 36 32K 是
Qwen3-Reranker-8B 8B 36 32K 是

架构与训练方法论

Qwen3 Embedding 系列采用基于 Qwen3 基础模型的双编码器和交叉编码器架构，并通过 LoRA 微调进行精炼，以保留基础模型的文本理解能力。

架构差异

  • Embedding Model: 使用双编码器架构。它处理单个文本段，并使用最终 [EOS] 标记的隐藏状态向量提取语义表示。
  • Reranking Model: 使用交叉编码器结构。它接受文本对（例如查询和候选文档）作为输入，并输出相关性得分。

训练流程

  • Embedding Models: 采用三阶段训练范式：使用弱监督数据进行对比预训练，使用高质量标注数据进行监督训练，以及最终的合并策略以整合多个候选模型。
  • Reranking Models: 直接利用高质量标注数据进行监督训练，以最大化效率。

为了为嵌入模型生成大规模弱监督数据，Qwen 开发了一个多任务可适配提示系统，利用 Qwen3 基础模型的生成能力创建针对特定语言和任务类型的文本对。

未来路线图

Qwen 计划继续优化基础模型，以提升部署性能和训练效率。此外，实验室还计划将系统扩展为多模态表示系统，以实现跨模态语义理解。

Sources