Qwen3 リリースノート：ハイブリッド思考と多言語 MoE モデル

Qwen3はハイブリッド推論アーキテクチャを導入し、ユーザーが複雑な問題解決のための深い「Thinking Mode」と高速応答のための「Non-Thinking Mode」の間で切り替えることができます。フラッグシップモデルである Qwen3-235B-A22B は、コーディング、数学、汎用能力において DeepSeek-R1、o1、o3-mini、Grok-3、Gemini-2.5-Pro などのトップクラスモデルと競合するよう設計されています。

モデルラインナップとアーキテクチャ

Qwen3は、Apache 2.0 ライセンスの下で Mixture-of-Experts（MoE）モデルとデンスモデルの両方として提供されます。MoEモデルは効率性を重視して設計されており、ベースモデルはアクティブパラメータのわずか10%で Qwen2.5 デンスモデルに匹敵する性能を実現しています。

MoE モデル

Model Total Parameters Activated Parameters Layers Heads (Q/KV) Context Length
Qwen3-235B-A22B 235B 22B 94 64 / 4 128K
Qwen3-30B-A3B 30B 3B 48 32 / 4 128K

デンスモデル

Model Layers Heads (Q/KV) Tie Embedding Context Length
Qwen3-32B 64 64 / 8 No 128K
Qwen3-14B 40 40 / 8 No 128K
Qwen3-8B 36 32 / 8 No 128K
Qwen3-4B 36 32 / 8 Yes 32K
Qwen3-1.7B 28 16 / 8 Yes 32K
Qwen3-0.6B 28 16 / 8 Yes 32K

ハイブリッド思考と予算制御

Qwen3は推論にデュアルモードアプローチを実装し、計算推論予算と性能向上の間にスケーラブルでスムーズな相関を実現します。

  • Thinking Mode: モデルは最終回答を出す前にステップバイステップで推論し、複雑なタスクに最適化されています。
  • Non-Thinking Mode: モデルは、速度が深さより優先されるシンプルな問い合わせに対してほぼ瞬時に応答します。

ユーザーはチャットテンプレートの enable_thinking 引数でこの動作を制御でき、またプロンプト内で /think や /no_think といったソフトスイッチタグを使用して、マルチターン会話中にモードを動的に変更できます。

事前学習とデータセット拡張

Qwen3は約36兆トークンで事前学習されました—Qwen2.5で使用された18兆トークンのほぼ2倍です—119の言語と方言をカバーしています。データ収集プロセスには、Qwen2.5-VL を通じて抽出され Qwen2.5 によって精練されたウェブデータと PDF ライク文書が含まれます。数学とコード用の合成データは Qwen2.5-Math と Qwen2.5-Coder を使用して生成されました。

事前学習は3段階で行われました:

  1. S1: 基本的な言語スキルと一般知識のトレーニングを30兆以上のトークンで実施（コンテキスト長4K）。
  2. S2: STEM、コーディング、推論タスクに焦点を当て、追加で5兆トークンを使用。
  3. S3: 高品質な長コンテキストデータを用いてコンテキスト長を32Kに拡張。

事後学習パイプライン

ハイブリッド思考機能を実現するため、Qwen3は4段階の事後学習プロセスを経ました：

  1. Long CoT Cold Start: 数学、コーディング、STEM にわたる多様な長いチェーン・オブ・ソート（CoT）データでファインチューニング。
  2. Reasoning-based RL: ルールベースの報酬を用いた強化学習のために計算リソースをスケーリング。
  3. Thinking Mode Fusion: 長い CoT と標準的な指示チューニングデータの混合でファインチューニングし、非思考機能を統合。
  4. General RL: 20以上の汎用ドメインタスクに対して RL を適用し、指示遵守、フォーマット、エージェンシー機能を向上。

エージェンシー機能と統合

Qwen3はツール呼び出しに最適化されており、Model Context Protocol（MCP）をサポートしています。実装には、ツール呼び出しテンプレートとパーサーを簡素化する Qwen-Agent フレームワークの使用が推奨されます。

デプロイ推奨事項

  • Serving Frameworks: OpenAI 互換 API エンドポイントのために SGLang (>=0.4.6.post1) または vLLM (>=0.8.4) を使用。
  • Local Usage: Ollama、LMStudio、MLX、llama.cpp、KTransformers。

Sources