Qwen 3.5‑397B‑A17B リリース：ハイブリッド線形注意 MoE モデル、1M トークンコンテキストと最先端のマルチモーダル性能

TL;DR

Qwen 3.5‑397B‑A17B は、Qwen 3.5 シリーズ初のオープンウェイトモデルで、3970 億パラメータのビジョン・ランゲージモデルです。フォワードパスごとにわずか 170 億パラメータのみをアクティベートし、言語、コーディング、推論、マルチモーダルベンチマークにおいて最先端の性能を発揮しながら、推論を高速かつ低コストに保ちます。

1. 何が発表された？

Qwen AI は Qwen 3.5‑397B‑A17B をリリースしました。これは Qwen 3.5 シリーズの最初のモデルです。これは ネイティブマルチモーダル（ビジョン・ランゲージ）モデルであり、Gated Delta Networks による線形注意 と スパース Mixture‑of‑Experts (MoE) アーキテクチャ を組み合わせています。総パラメータ数 3970 億のうち、任意の入力に対してアクティベートされるのはわずか 170 億パラメータのみで、これにより前世代の Qwen 3‑Max‑Base と比較して 8.6×（32k コンテキスト）から 19.0×（256k コンテキスト）の速度向上が得られ、精度はほぼ維持されます。

2. コア技術革新

2.1 ハイブリッド注意 + スパース MoE

Gated Delta Network (GDN) は線形時間注意を提供し、従来の自己注意の二次コストを劇的に削減します。
スパース MoE レイヤー は各トークンを少数のエキスパートにルーティングし、総モデルサイズに関わらずアクティベートされるパラメータ数を 170 億に制限します。
この組み合わせにより、高スループット（256k コンテキストでの Qwen 3‑Max‑Base と比較して最大 19× 高速）が実現され、3970 億パラメータモデルの表現力は損なわれません。

2.2 効率化のテクニック

マルチトークン予測 と 安定性最適化 により、極端なスケールでもトレーニングが安定します。
FP8 パイプライン（FP8 をアクティベーション、MoE ルーティング、GEMM に使用）により、アクティベーションメモリが約 50 % 削減され、さらに >10 % の速度向上が得られます。ただし、数値的に敏感なレイヤーは BF16 精度を保持します。
非同期 RL フレームワーク は Qwen 3.5 のすべてのサイズをサポートし、動的ロードバランシングと低いグラディエン트 ステイルネスを伴う大規模マルチターン・マルチモーダル強化学習（RL）トレーニングを可能にします。

2.3 言語カバレッジ

ボキャブラリーは 250k トークン に拡張されました。
サポート言語 は 119 から 201 に増加（多くの方言を含み）、グローバルなアクセシビリティが向上しました。

3. ベンチマーク性能

Qwen 3.5‑397B‑A17B は幅広いフロンティアベンチマークで評価されました。以下の表は最も関連性の高いスコアを示しています（高いほど良い、ただし注記がある場合を除く）。すべての数値は公式の Qwen 3.5 リリースから取得しています。

カテゴリ	ベンチマーク	Qwen 3.5‑397B‑A17B	最も近い競合製品
知識	MMLU‑Pro	87.4	GPT‑5.2 (89.5)
	MMLU‑Redux	95.0	GPT‑5.2 (95.6)
	C‑Eval	90.5	Claude 4.5 Opus (92.2)
推論	LiveCodeBench v6	87.7	GPT‑5.2 (84.8)
	HMMT Feb 25	99.4	Claude 4.5 Opus (92.9)
コーディング	Code‑Interpreter (IFEval)	94.8	GPT‑5.2 (90.9)
マルチモーダル	MMMU‑Pro	85.0	Gemini‑3 Pro (70.4)
	MathVision	84.2	GPT‑5.2 (74.6)
	実世界 VQA (RealWorldQA)	81.0	Gemini‑3 Pro (77.0)
エージェント / ツール使用	General Agent (BFCL‑V4)	63.1	Claude 4.5 Opus (77.5)
	Tool Decathlon	43.8	GPT‑5.2 (43.5)
	Search Agent (HLE w/ tool)	45.5	Gemini‑3 Pro (49.8)

全体として、Qwen 3.5‑397B‑A17B は言語、推論、コーディング、マルチモーダルタスクにおいて最強の既存モデルに匹敵またはそれを上回る性能を示し、推論ステップごとのアクティベートパラメータ数はははなります。

4. マルチモーダル機能

モダリティ	代表的ベンチマーク	Qwen 3.5‑397B‑A17B スコア
STEM & パズル	MMMU	85.0
数学志向ビジョン	MathVista (mini)	90.1
一般 VQA	RealWorldQA	81.0
ドキュメント理解	OmniDocBench 1.5	90.8
OCR / 画像内テキスト	OCRBench	93.1
空間推論	RefCOCO (平均)	87.8
ビデオ理解	VideoMME (w/ sub.)	87.4

このモデルは 最大 1M トークン（約 2 時間のビデオ）を単一のフォワードパスで処理でき、エンドツーエンドのビデオ‑トゥ‑コード、ビデオ要約、マルチモーダル計画を可能にします。

5. システムレベルインフラストラクチャ

ヘテロジニアス並列ism: ビジョンとランゲージパイプラインは別々の並列戦略を使用し、モノリシックアプローチの非効率を回避します。
混合テキスト‑イメージ‑ビデオデータにおけるほぼ 100 % のトレーニングスループット を純テキストベースラインと比較して達成。
FP8‑イネーブルドパイプライン はアクティベーションメモリを約 50 % 削減し、>10 % の速度向上をもたらしながら、数値的に敏感なレイヤーでは BF16 精度を保持します。
スケーラブルな非同期 RL エンジン – マルチターン・マルチモーダル環境、スペキュラティブデコーディング、ロールアウト‑ルーターリプレイ、きめ細かいフォールトリカバリをサポートし、3×–5× のエンドツーエンド速度向上 を実現。

6. Qwen 3.5 の使い方

6.1 Qwen Chat（インタラクティブ）

3 つのインタラクションモードが公開されています：

Auto – ツール使用（検索、コードインタプリタ）を含む適応的推論。
Thinking – 難しい問題に対する深いチェーン・オブ・ソート。
Fast – ツール呼び出しなしの即時回答。

6.2 Qwen 3.5‑Plus（Alibaba Cloud ModelStudio でホスト）

環境変数を設定して高度な機能を有効にします：

export DASHSCOPE_API_KEY=your_key
export DASHSCOPE_MODEL=qwen3.5-plus   # オプションのオーバーライド
# 思考のチェーン・オブ・ソートを有効化
export ENABLE_THINKING=true
# ウェブ検索とコードインタプリタを有効化
export ENABLE_SEARCH=true

最小限の Python スニペット：

from openai import OpenAI
import os
client = OpenAI(api_key=os.getenv("DASHSCOPE_API_KEY\)),
                base_url=os.getenv("DASHSCOPE_BASE_URL",
                                   "https://dashscope-intl.aliyuncs.com/compatible-mode/v1\)
resp = client.chat.completions.create(
    model=os.getenv("DASHSCOPE_MODEL", "qwen3.5-plus\)),
    messages=[{"role": "user", "content": "Introduce Qwen 3.5." }],
    extra_body={"enable_thinking": True, "enable_search": False},
    stream=True)
for chunk in resp:
    print(chunk.choices[0].delta.get("content", "\)), end="

同じエンドポイントは Qwen Code、Qwen Visual Agents、および vibe‑coding エクスペリエンスにも使用されます。

7. 含意と今後の方向性

ネイティブマルチモーダル推論：ビジョンをトランスフォーマースタックの早期に組み込むことで、Qwen 3.5 は画像、ビデオ、テキストについて単一パスで推論でき、汎用AIエージェント への決定的な一歩となります。
パラメータ効率的なスケーリング：総パラメータのわずか 4–5 % しか各トークンでアクティベートされないことを示し、巨大モデルでも推論コストが高くならないことを示しています。
強化学習駆動のエージェント：非同期 RL フレームワークにより、長時間範囲・マルチモーダル環境から学習するエージェントのトレーニングが可能になり、永続的でメモリ拡張されたアシスタントへの道が開けます。
より広いアクセシビリティ：201 言語のサポートと 250k トークンのボキャブラリーにより、非英語圏の開発者や企業への参入障壁が低下します。
ロードマップ：Qwen チームは、より大規模なスケーリング実験、より多様な RL 環境、および外部ツール（検索、計画、経済的認識など）とのより深い統合を詳細に説明する forthcoming 技術レポートを示唆しています。

8. 結論

Qwen 3.5‑397B‑A17B は、巨大マルチモーダルモデルが強力かつ効率的であること を実証しました。ハイブリッド線形注意＋MoE 設計により、推論コストを 1T パラメータモデルに匹敵するレベルに抑えながら、最先端に近い精度を提供します。オープンウェイトリリース、包括的なベンチマークスイート、すぐに使えるクラウドサービスにより、次世代の AI アシスタント、自律エージェント、マルチモーダルアプリケーションの魅力的な基盤となります。

主要なポイント

3970 億総パラメータ、トークンごとに 170 億アクティベート → Qwen 3‑Max‑Base と比較して最大 19× 高速。
言語、コーディング、推論、ビジョンタスクにおいて最先端の結果。
1M トークンのコンテキストウィンドウにより、長形式のビデオおよびドキュメント処理が可能。
オープンウェイトモデルに加えて、即時本番利用可能なホスト済み Qwen 3.5‑Plus。

参考文献

Qwen AI ブログ投稿 – Qwen 3.5: Towards Native Multimodal Agents (2026‑02‑14)。
公式モデルカード：GitHub、Hugging Face、ModelScope 上。
ベンチマークスイート：MMLU‑Pro、C‑Eval、LiveCodeBench v6、MMMU‑Pro、VideoMME など。

Qwen 3.5‑397B‑A17B リリース：ハイブリッド線形注意 MoE モデル、1M トークン コンテキストと最先端のマルチモーダル性能