Qwen3 嵌入與重排序模型發布

Qwen 已發布 Qwen3 嵌入系列，這是一套基於 Qwen3 基礎模型的專有模型，旨在提供最先進的文本嵌入、檢索與重排序，支援超過 100 種語言。這些模型以 Apache 2.0 授權開源，並可於 Hugging Face 與 ModelScope 取得。

模型能力與效能

Qwen3 嵌入系列在多語言文本理解與檢索方面達到最先進的效能。截至 2025 年 6 月 5 日，8B 嵌入模型在 MTEB 多語言排行榜上以 70.58 分排名第一。

重排序基準測試

重排序模型在多項基準測試中顯示出顯著的搜尋相關性提升。以下為重排序系列的效能指標：

模型	MTEB-R	CMTEB-R	MMTEB-R	MLDR	MTEB-Code	FollowIR
Qwen3-Reranker-0.6B	65.80	71.31	66.36	67.28	73.42	5.41
Qwen3-Reranker-4B	69.76	75.94	72.74	69.97	81.20	14.84
Qwen3-Reranker-8B	69.02	77.45	72.94	70.19	81.22	8.05

註：所有分數皆基於 Qwen3-Embedding-0.6B 模型檢索的前 100 名候選結果。

模型規格

此系列提供彈性的模型規模（0.6B 至 8B），以兼顧效率與效能。嵌入與重排序模型皆支援 32K 序列長度，且具指令感知能力，允許使用者為特定任務或語言自訂輸入指令。

文本嵌入模型

模型	規模	層數	嵌入維度	支援 MRL
Qwen3-Embedding-0.6B	0.6B	28	1024	Yes
Qwen3-Embedding-4B	4B	36	2560	Yes
Qwen3-Embedding-8B	8B	36	4096	Yes

文本重排序模型

模型	規模	層數	序列長度	具指令感知
Qwen3-Reranker-0.6B	0.6B	28	32K	Yes
Qwen3-Reranker-4B	4B	36	32K	Yes
Qwen3-Reranker-8B	8B	36	32K	Yes

架構與訓練方法論

Qwen3 嵌入系列採用基於 Qwen3 基礎模型的雙編碼器與交叉編碼器架構，並透過 LoRA 微調加以精煉，以保留基礎模型的文本理解能力。

架構差異

• 嵌入模型：採用雙編碼器架構。它處理單一文本段落，並使用最終 [EOS] 代碼的隱藏狀態向量來提取語意表示。
• 重排序模型：採用交叉編碼器結構。它以文本對（例如查詢與候選文件）作為輸入，並輸出相關性分數。

訓練流程

• 嵌入模型：遵循三階段訓練範式：使用弱監督資料進行對比式預訓練、使用高品質標記資料進行監督訓練，以及最終的合併策略以整合多個候選模型。
• 重排序模型：直接使用高品質標記資料進行監督訓練，以最大化效率。

為了為嵌入模型生成大規模弱監督資料，Qwen 開發了一套多任務可調整提示系統，利用 Qwen3 基礎模型的生成能力，產生針對特定語言與任務類型的文本對。

未來路線圖

Qwen 計畫持續優化基礎模型，以提升部署效能與訓練效率。此外，實驗室亦打算將系統擴展為多模態表示系統，以實現跨模態語意理解。