Qwen3.8-Flash-Next リリースノート / 新機能

Qwen3.8-Flash-Next は、次世代の Qwen4 ファミリーに向けたアーキテクチャのプレビューとして機能する、マルチモーダル Mixture-of-Experts (MoE) モデルです。ハイブリッドな Gated DeltaNet (GDN) と Qwen Sparse Attention (QSA) デザインを導入することで、計算効率とモデル容量を最適化し、Qwen3.7-Plus に必要なトレーニングコストの約 1/9 に削減しながら、コーディングやオフィス業務のタスクにおいて優れたパフォーマンスを実現します。

モデルアーキテクチャと技術革新

Qwen3.8-Flash-Next は、attention、residual streams、embeddings、および optimization の 4 つの主要な技術的次元にわたって体系的なアップグレードを実施しています。

ハイブリッド Attention: GDN と QSA

メモリ効率と正確な検索のバランスをとるため、このモデルは、4 レイヤーのうち 3 レイヤーが Gated DeltaNet (GDN) を使用して履歴情報を固定サイズのステートに圧縮するハイブリッドアーキテクチャを採用しています。残りの 1 レイヤーは、Qwen Sparse Attention (QSA) によって強化されたグローバル attention を採用しています。

QSA は、軽量なインデクサーを使用してシーケンスをマイクロブロックに集約することで、長シーケンス計算のオーバーヘッドを削減します。ブロックレベルで重要度を推定し、attention への関連領域を選択することで、attention コストとインデクシングのオーバーヘッドの両方を削減します。100万トークンのコンテキスト長において、QSA の attention カーネルは、prefill で最大 7.6 倍、decode で 4.9 倍の高速化を実現します。

Gated Residual (GR)

ディープネットワークにおける初期特徴の希釈を防ぐため、Gated Residual (GR) は従来の単一の residual stream を 4 つの並列ブランチに拡張しています。動的な要素ごとのゲートが、これらのブランチ間での情報の読み書きを制御し、レイヤー間の情報フローを強化し、トレーニングの安定性を向上させます。また、residual ステートは、メモリ・アクセス・オーバーヘッドをさらに削減するために FP8 ストレージをサポートしています。

N-gram Embedding

トークンあたりの計算量を増やさずにモデル容量をスケールさせるため、Qwen3.8-Flash-Next は N-gram Embedding を導入しています。この手法は、現在のトークンといくつかの先行するトークンに基づいてルックアップを行い、一般的なフレーズやローカルなパターンを表現します。モデルには 51B の N-gram embedding パラメータが含まれており、これらはホストメモリにオフロードでき、非同期的にプリフェッチできるため、GPU メモリを恒久的に占有することはありません。

Optimization via Muon

このモデルは、Muon optimizer を使用してトレーニングされています。特に直交化の精度と、融合されたパラメータ行列の分割に特化して改良されています。Muon は 2 次元線形マップ (Attention, GDN, および MoE Experts) に適用されますが、embeddings、MoE router、および GR の低ランクパラメータには AdamW が維持されます。この共同設計により、より大きな学習率とバッチサイズが可能になり、収束効率が向上します。

モデル仕様と機能

Qwen3.8-Flash-Next は、125B パラメータのメインモデルと、追加の 51B N-gram embeddings を備え、トークンあたり 6B パラメータをアクティブ化します。

コンテキストウィンドウとパフォーマンス

  • Context Support: Natively supports 262,144 tokens, extensible to 1,000,000 tokens via YaRN.
  • Efficiency: 90% の prefix cache hit rate のサービング・シナリオにおいて、1M tokens における Qwen3.7-Plus の prefill throughput が 8.6 倍に達します。
  • Pricing: 本番用バージョン (Qwen3.8-Flash) の価格は、入力 100 万トークンあたり 0.16 USD、出力 100 万トークンあたり 0.47 USD です。

ベンチマーク

ベースモデルの比較において、Qwen3.8-Flash-Next-Base は、MMLU-Pro, SuperGPQA, BBH, GSM8K, EvalPlus, SWEBench-Pretrain, MGSM, および MMMLU を含む 14 のベンチマークのうち 8 つで、Qwen3.8-27B-Base および Qwen3.7-Plus-Base を上回りました。

エージェントおよびコーディングタスクにおいて、モデルは大幅な向上を示しています：

  • DeepSWE 1.1: 58.7 (compared to 16.5 for Qwen3.7-Plus).
  • SWE-bench Pro: 62.5 (compared to 55.8 for Qwen3.7-Plus).
  • CoWorkBench: 73.9 (compared to 55.1 for Qwen3.7-Plus).
  • LiveCodeBench v6: 91.9.

マルチモーダルおよび Vision-Language パフォーマンス

Qwen3.8-Flash-Next は、マルチモーダル・エージェント・インテリジェンスおよび全般的な知覚において強力な能力を示しています：

  • Multimodal Tool Use (ClawEval-MM): 64.4 Pass@3.

  • Mobile Use (AndroidWorld): 84.5.

  • Computer Use (OSWorld 2.0): 19.4 Binary / 52.3 Partial.

  • Long Video Understanding (LVBench): 76.6.

  • Visual Math (Context-based): 95.7 with CI.

統合と利用可能性

重みは Hugging Face と ModelScope で利用可能です。モデルは qwen3.8-flash という名前で QwenCloud で提供され、OpenAI-compatible Chat Completions and Responses APIs、および Claude Code などのツールとの直接統合のための Anthropic-compatible interface をサポートしています。

Sources

関連