Qwen3 埋め込みおよびリランカーリリース
Qwenは、Qwen3 基盤モデルをベースにした、最先端のテキスト埋め込み、検索、リランキングを100以上の言語で実現することを目的とした、独自のモデル群である Qwen3 Embedding シリーズをリリースしました。これらのモデルは Apache 2.0 ライセンスの下でオープンソース化されており、Hugging Face と ModelScope で入手可能です。
モデルの能力とパフォーマンス
Qwen3 Embedding シリーズは、多言語テキスト理解と検索において最先端の性能を達成しています。2025年6月5日現在、8B 埋め込みモデルは MTEB 多言語リーダーボードでスコア 70.58 を記録し、1位となっています。
リランキングベンチマーク
リランキングモデルは、複数のベンチマークにおいて検索関連性を大幅に向上させています。リランカーモデルのパフォーマンス指標は以下の通りです。
| Model | MTEB-R | CMTEB-R | MMTEB-R | MLDR | MTEB-Code | FollowIR |
|---|---|---|---|---|---|---|
| Qwen3-Reranker-0.6B | 65.80 | 71.31 | 66.36 | 67.28 | 73.42 | 5.41 |
| Qwen3-Reranker-4B | 69.76 | 75.94 | 72.74 | 69.97 | 81.20 | 14.84 |
| Qwen3-Reranker-8B | 69.02 | 77.45 | 72.94 | 70.19 | 81.22 | 8.05 |
Note: All scores are based on the top-100 candidates retrieved by the Qwen3-Embedding-0.6B model.
モデル仕様
このシリーズは、効率性と有効性のバランスを取るために、0.6B から 8B までの柔軟なモデルサイズを提供します。埋め込みモデルとリランキングモデルの両方は 32K のシーケンス長をサポートし、指示対応（instruction‑aware）であるため、ユーザーは特定のタスクや言語に合わせて入力指示をカスタマイズできます。
テキスト埋め込みモデル
| Model | サイズ | 層数 | 埋め込み次元 | MRL 対応 |
|---|---|---|---|---|
| Qwen3-Embedding-0.6B | 0.6B | 28 | 1024 | はい |
| Qwen3-Embedding-4B | 4B | 36 | 2560 | はい |
| Qwen3-Embedding-8B | 8B | 36 | 4096 | はい |
テキストリランキングモデル
| Model | サイズ | 層数 | シーケンス長 | 指示対応 | | :--- | :--- | :--- | :--- | :--- | :--- | :--- | | Qwen3-Reranker-0.6B | 0.6B | 28 | 32K | はい | | Qwen3-Reranker-4B | 4B | 36 | 32K | はい | | Qwen3-Reranker-8B | 8B | 36 | 32K | はい |
アーキテクチャとトレーニング手法
Qwen3 Embedding シリーズは、Qwen3 基盤モデルに基づくデュアルエンコーダーとクロスエンコーダーのアーキテクチャを採用し、LoRA ファインチューニングによりベースモデルのテキスト理解能力を保持しながら最適化されています。
アーキテクチャの違い
- Embedding Model: デュアルエンコーダー構造を採用しています。単一のテキストセグメントを処理し、最終
[EOS]トークンの隠れ状態ベクトルを用いて意味表現を抽出します。 - Reranking Model: クロスエンコーダー構造を採用しています。テキストペア（例：クエリと候補文書）を入力として受け取り、関連性スコアを出力します。
トレーニングパイプライン
- Embedding Models: 3 段階のトレーニングパラダイムを採用します。弱教師ありデータによるコントラスト学習、品質の高いラベル付きデータによる教師あり学習、そして複数の候補モデルを統合する最終マージ戦略です。
- Reranking Models: 高品質なラベル付きデータを直接使用した教師あり学習により、効率性を最大化します。
埋め込みモデル用に大規模な弱教師ありデータを生成するため、Qwen はマルチタスク適応型プロンプトシステムを開発しました。このシステムは Qwen3 基盤モデルの生成能力を活用し、特定の言語やタスクタイプに合わせたテキストペアを作成します。
今後のロードマップ
Qwen は基盤モデルの最適化を継続し、デプロイ時のパフォーマンスとトレーニング効率の向上を目指します。さらに、ラボはシステムをマルチモーダル表現システムへ拡張し、クロスモーダルな意味理解を実現する計画です。