Qwen3.8-Flash-Next リリースノート: Qwen4 アーキテクチャのプレビュー

Qwen3.8-Flash-Next は、アテンション、残差ストリーム、埋め込み、および最適化にわたる体系的なアーキテクチャの刷新を導入するマルチモーダル Mixture-of-Experts (MoE) モデルです。Qwen4 アーキテクチャの早期プレビューとして設計されており、Qwen3.7-Plus と比較して、トレーニングコストをわずか 1/9 に抑えつつ、コーディングやオフィス業務において優れた性能を実現しています。

アーキテクチャの革新

Qwen3.8-Flash-Next は、計算効率とモデル容量を向上させるために、4 つの主要な技術的アップグレードを実装しています。

ハイブリッド・アテンション: GDN と QSA

メモリ効率と正確な検索のバランスをとるために、モデルはハイブリッド・アーキテクチャを採用しています。4 層のうち 3 層は Gated DeltaNet (GDN) を使用して、履歴情報を固定サイズの状態に圧縮します。残りの層は、Qwen Sparse Attention (QSA) によって強化されたグローバル・アテンションを使用します。

QSA は、シーケンスを micro-blocks に集約する軽量なインデクサーを使用することで、長シーケンス計算のオーバーヘッドを削減します。トークンレベルではなくブロックレベルで重要度を推定することで、QSA はインデックス作成コストを最小限に抑えます。1M トークンのコンテキスト長において、QSA は prefill において最大 7.6 倍、decode において 4.9 倍の高速化を実現します。90% の prefix cache ヒット率のシナリオでは、Qwen3.7-Plus の 8.6 倍の prefill スループットを提供します。

Gated Residual (GR) ストリーム

深いネットワークにおいて初期層の特徴が希釈されるのを防ぐため、Gated Residual (GR) は従来の単一の残差ストリームを 4 つの並列ブランチに拡張しています。動的な要素ごとのゲートが、これらのブランチから情報をどのように読み書きするかを制御します。

この設計により、モデルは初期アテンション層から深い層への長距離パスウェイを維持できます。さらに、GR メカニズムは活性化のアウトライヤーを抑制し、トレーニングの安定性を向上させ、メモリ・アクセス・オーバーヘッドを削減するために FP8 storage をサポートしています。

スケーラブルな容量のための N-gram 埋め込み

Qwen3.8-Flash-Next は、単一のトークンではなく、ローカル・コンテキスト（現在のトークンと先行するトークン）に基づいてルックアップを行う N-gram Embedding を組み込んでいます。これにより、トークンあたりの計算量をほとんど増やさずにモデル容量を増加させる「ローカル・パターン・メモリ」が追加されます。

モデルには、125B のメイン・モデル・パラメータに加えて、51B N-gram 埋め込みパラメータが含まれています。GPU メモリの飽和を避けるため、これらのパラメータはホスト・メモリに保存し、モデル計算中に非同期的に prefetch することができます。

Muon による最適化

モデルは、直交化の精度と融合されたパラメータ・マトリックスの分割に特化して改良された Muon optimizer を使用してトレーニングされています。Muon は 2 次元線形マップ（Attention, GDN, および MoE Experts）に適用されますが、AdamW は埋め込み、MoE router、および GR low-rank パラメータに保持されます。

主な最適化の知見は以下の通りです：

  • Scaling Law Refitting: 新しいアーキテクチャは、より大きな学習率とバッチサイズを可能にします。
  • Batch Size Warmup: チームは、ターゲット・バッチサイズから直接開始することがより効率的であり、段階的な warmup を行う場合と比較して optimizer ステップを 18.8% 削減できることを発見しました。

モデル仕様と性能

Qwen3.8-Flash-Next は、125B パラメータのメイン・モデルで、トークンあたり 6B パラメータがアクティブになります。コンテキスト・ウィンドウは 262,144 トークンをネイティブにサポートし、YaRN を介して 1,000,000 トークンまで拡張可能です。

ベンチマーク

言語およびコーディング・タスクにおいて、Qwen3.8-Flash-Next はいくつかの競合モデルや以前のバージョンを outperforms outs

Benchmark Qwen3.8-Flash-Next Qwen3.8-27B Qwen3.7-Plus DeepSeek-V4-Flash
DeepSWE 1.1 58.7 42.2 16.5 54.4
SWE-bench Pro 62.5 61.7 55.8 56.0
CoWorkBench 73.9 70.7 65.1 45.1
GPQA Diamond 91.7 89.2 90.3 90.8
LiveCodeBench v6 91.9 90.3 89.6 90.6

ビジョン・ランゲージ・タスクにおいて、モデルは強力なエージェント能力を示しており、特に AndroidWorld (84.5) と OSWorld 2.0 (52.3 partial) において、Qwen3.7-Plus の性能を大幅に上回っています。

デプロイメントと価格設定

Qwen3.8-Flash-Next は、Hugging Face と ModelScope 上でオープンウェイト・モデルとして利用可能です。プロダクション版の Qwen3.8-Flash は、QwenCloud を通じて提供され、以下の価格設定が適用されます：

  • Input: 0.16 USD per million tokens
  • Output: 0.47 USD per million tokens

コミュニティの洞察と技術的議論

コミュニティのフィードバックは、新しいアーキテクチャの効率性の向上とハードウェア要件の両に対してを強調しています：

  • Hardware Constraints: ユーザーは、51B N-gram 埋め込みパラメータがメモリ・フットプリントを大幅に増加させると指摘しています。6B のアクティブ・パラメータがメモリ帯域幅の助けとなる一方で、計算機リソースが 128GB 以下の RAM を持つユーザーにとって、トータル・サイズは課題となります。あるユーザーは次のように述べています：

    "the 50B ngram sidecar makes it impossible... the new ngram architecture makes it pretty much unusable for regular folks who cant afford more than 32-64 GB ram."

  • Local Execution: 早期採用者は、Ryzen 395 / Strix Halo ハードウェア上での成功した実行を報告しており、約 22 tokens/s を達成しています。一部のユーザーは、ローカル・サポートを可能にするための暫定的な llama.cpp ブランチを実装しています。

  • Performance vs. Cost: 複雑なエージェント・タスク（コード・アーキオロジーや回帰修正など）を非常に低コストで処理できる能力が、大きな利点として挙げられています。あるユーザーは、複雑なメージと修正をわずか $0.45 で行ったと報告しています。

  • Quantization: さまざまな量子化レベル（例：IQ4_XS）の有効性について継続的な議論が行われています。高圧縮量子化を使用する場合、高密度な Qwen3.8-27B モデルと比較して性能低下が観察されるユーザーもいます。

Sources

関連