深さプルーニングされたドラフトモデルを使用した Intel Core Ultra 上の Qwen3-8B 加速

TL;DR

speculative decoding と深さプルーニングされた Qwen3‑0.6B ドラフトを使用して Intel® Core™ Ultra 上で Qwen3-8B を加速し、約 1.4 倍の速度向上を実現し、🤗 smolagents による高速ローカル AI エージェントを可能にします。

Qwen3‑8B：エージェントワークフロー向けに設計されたモデル

Qwen3‑8B は Qwen ファミリーの最新リリースで、ツール呼び出し、マルチステップ推論、長文コンテキスト処理といったエージェント固有の動作をネイティブに備えています。これらの機能により、LLM が「考えながら」トレースや中間ステップを生成し、トークン使用量が増加し高い推論スループットが求められる AI‑PC（AIPC）シナリオに自然に適合します。🤗 smolagents、QwenAgent、AutoGen などのエージェントフレームワークと組み合わせることで、Qwen3‑8B は API 呼び出し、コード生成、複雑な推論を行うアプリケーションを支援できます。

Speculative Decoding を用いた Intel® Core™ Ultra 上の Qwen3‑8B 加速

Speculative decoding（arXiv:2211.17192 を参照）は、より小さなドラフトモデルが単一のフォワードパスで複数のトークンを提案し、より大きなターゲットモデルがそれを検証することで自己回帰生成を高速化します。Intel Core Ultra ベンチマークでは次の構成です：

  • Target model – Qwen3‑8B を OpenVINO（OpenVINO 2025.2）で INT4 に量子化したもの。
  • Draft model – Qwen3‑0.6B を OpenVINO で INT8 に量子化したもの。
  • Hardware – Intel Lunar Lake 統合 GPU（Arc 140V）搭載の Core Ultra 7 268V、32 GB DDR5。

この構成は、ベースラインの 4 ビット OpenVINO 推論に対して平均 1.3× の速度向上 を実現しました。

from openvino_genai import LLMPipeline, draft_model

target_path = "/path/to/target/Qwen3-8B-int4-ov"
draft_path  = "/path/to/draft/Qwen3-0.6B-int8-ov"
device = "GPU"

model = LLMPipeline(target_path, device,
                    draft_model=draft_model(draft_path, device))

streamer = lambda x: print(x, end="", flush=True)
model.generate(
    "What is speculative decoding and how does it improve inference speed?",
    max_new_tokens=100,
    streamer=streamer,
)

Note: ターゲットモデルとドラフトモデルの両方を OpenVINO フォーマットに変換する必要があります。事前に変換されたモデルはブログ記事のリンクから入手できるか、OpenVINO エクスポートガイドに従って作成できます。

深さプルーニングされたドラフトモデルでさらなる性能向上

Speculative decoding の理論的な速度向上は

$$ \text{Speedup}=\frac{E[#\text{generated tokens}]}{\gamma c + 1}, $$

ここで (\gamma) はターゲットがステップごとに生成する平均トークン数、(c) はターゲットとドラフトのレイテンシ比、分子は推測ウィンドウあたりの期待生成トークン数を表します。ドラフトのレイテンシを低減（(c) を小さく）することで全体の速度が向上します。

ドラフトモデルの層単位プルーニング

最近の研究では、モデルの深さが推論レイテンシを支配することが示されています。層単位の圧縮研究にヒントを得て、著者らは層出力間の角度距離を測定し、影響の少ないブロックを特定して除去しました。Qwen3‑0.6B の 28 層のうち 6 層がプルーニングされ、その後、ドラフトは Qwen3‑8B が生成した合成データ（BAAI/Infinity‑Instruct データセットの 500k プロンプト）でファインチューニングされました。

得られた効果

深さプルーニングされたドラフトモデル（OpenVINO/Qwen3-pruned-6L-from-0.6B-int8-ov として利用可能）は、ベースラインに対して speculative decoding の速度向上を ~1.4× に高め、より高速なドラフトが全体のスループット向上につながるという期待を裏付けました。

これらの手順を再現した完全なノートブックは記事内にリンクされています：https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/supplementary_materials/notebooks/qwen-3/qwen3.ipynb。

🤗 smolagents との統合

実用的なインパクトを示すために、加速された Qwen3‑8B とプルーニングされたドラフトの組み合わせを 🤗 smolagents ライブラリに統合しました。開発者は以下のようなローカル AI エージェントをインスタンス化できます：

  1. 外部ツールを呼び出す（例：ウェブ検索）。
  2. Python コードを実行する（例：python-pptx を使用して PowerPoint スライドを生成）。
  3. Intel Core Ultra ハードウェア上で長文コンテキスト推論を効率的に処理する。

デモタスクではエージェントに Qwen3 シリーズの主要機能を要約し、スライドデッキを作成 するよう指示しました。ワークフローはウェブ検索ツールと Python インタプリタを組み合わせ、加速されたエージェントモデルがコンシューマ向けハードウェア上でエンドツーエンドの AI アプリケーションを実現できることを示しています。

同じモデルの組み合わせは AutoGen や QwenAgent など他のエージェントフレームワークでも使用でき、迅速なローカル AI エージェントのエコシステムを拡大します。

参考文献

  1. Gromov, A., Tirumala, K., Shapourian, H., Glorioso, P., & Roberts, D. A. (2025). The unreasonable ineffectiveness of the deeper layers. ICLR 2025 で発表されたポスター。 https://arxiv.org/abs/2403.17887

Performance disclaimer – ベンチマークは OpenVINO 2025.2 を使用し、Intel Core Ultra 7 268V（2.20 GHz）に統合された Arc 140V GPU と 32 GB DDR5 で実施しました。結果は構成によって異なる場合があります。

Sources