Qwen 3.6 27B: ローカルLLM開発における新たなスイートスポット

Qwen 3.6 27Bはローカルデプロイメントに最先端レベルの知能を提供

Qwen 3.6 27Bは、ローカル開発における汎用的な知能に大きな飛躍をもたらす密な（dense）モデルであり、コーディングや複雑な推論タスクにおいて、そのパラメータ数以上の性能を発揮することがよくあります。Mixture-of-Experts (MoE) バリアント（Qwen 3.6 35B A3B）も存在し、より高速な推論を提供しますが、27Bのdenseモデルは、高品質な出力のために、より強力で信頼性の高いオプションとして広く認識されています。

コーディングおよびクリエイティブなタスクにおけるパフォーマンス

実用的なテストにおいて、Qwen 3.6 27Bは強力なゼロショット能力を示しています。例えば、単一のプロンプトから pnpm を使用した六角形のマインスイーパーのような複雑なプロジェクトの生成に成功していますが、一方でMoEバリアントは、構造的な指示（例：パッケージの作成）を無視して、より単純な単一ファイルのHTML出力を作成してしまうことがありました。また、制約のある執筆や複雑なテーマの合成（例：量子力学とダンスの融合）においても、以前はGPT-4.5のような高価な最先端モデルにのみ許されていたレベルの熟考と推論能力を発揮します。

llama.cppによるローカルデプロイメント

Qwen 3.6 27Bをローカルで実行する場合、llama.cpp を使用するのが最も効率的です。これにより、幅広いデバイス互換性が確保され、追加のラッパーによるオーバーヘッドを回避できます。

推奨設定:

  • 量子化: メモリを節約しつつ品質の低下を最小限に抑えるために、8-bit (Q8_0) 量子化が推奨されます。
  • Multi-Token Prediction (MTP): MTPを使用すると、1秒あたりのトークン数 (TPS) が大幅に増加し、構成によっては速度がほぼ倍増します。
  • コマンド例:
    llama-server -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 --spec-type draft-mtp -ngl 999 -fa on -c 65536 --jinja --port 8080

ハードウェアベンチマークとリソース要件

27Bパラメータのモデルを実行するにはかなりのハードウェアが必要であり、利用可能なVRAMとシステムメモリによってユーザー体験に差が生じます。

Apple Siliconのパフォーマンス (MacBook Max M5 128GB)

  • llama.cpp + MTP: ~32 tok/s
  • llama.cpp (Standard): ~18 tok/s
  • MLX: ~17 tok/s

NVIDIAおよびその他のハードウェア

  • RTX 5090: Q6_K量子化を使用し、123kコンテキストで~50 tok/sの安定した速度が報告されています。
  • Dual RTX 3090: 短いプロンプトでは最大140 tok/s、dense 27Bモデルでは~40 tok/sを報告しているユーザーもいます。
  • AMD Radeon AI Pro 9700: デュアルカード (64GB VRAM) を使用し、vLLMでFP8とMTPを用いることで~50 TPSを達成可能です。
  • 低予算の代替案: NVIDIAのプレミアム価格なしにVRAMを必要とする人には、Intel Arc Pro B70 (32GB RAM) が実行可能な低コストの代替案として挙げられています。

比較分析: ローカル vs クラウド

知能ベンチマーク

Artificial Analysisによると、Qwen 3.6 27B (スコア37) はGemma 4 31B (29) やQwen 3.6 35B A3B (32) を上回り、2025年中盤の最先端モデルのパフォーマンスに近い位置にあります。しかし、大規模な既存コードベースについては、Claude 3.5/4 Sonnetのようなクラウドモデルが、コンテキスト処理と信頼性の面で依然として大きな優位性を保っているとユーザーは指摘しています。

経済的な議論

ローカルハードウェアのコストとクラウドAPIクレジットのコストについては、コミュニティ内で大きな意見の相違があります。

「客観的に見てSOTA（最先端）よりもはるかに劣るモデルを動かすために、数千ドルも出してこれらの128GB MBPを買っている人たちを見ていると、気が狂いそうだ。」

逆に、ローカルモデルの支持者は、プライバシー、サブスクリプション料金の不在、および機密データに対するモデルの微調整（fine-tune）が可能であるという点が、投資を正当化すると主張しています。また、ノートPCでの高負荷な推論に伴う熱やファンの騒音を避けるために、Mac Mini M4を別の部屋のヘッドレスサーバーとして使用するような「ハイブリッド」なハードウェアアプローチを提案する人もいます。

主なトレードオフと制限事項

  • サーマルスロットリング: 高パラメータのローカルモデルは激しい熱を発生させます。継続的なエージェント的コーディングタスク中、MacBook Proが触れないほど熱くなるという報告があります。
  • Dense vs Sparse: Denseモデル（Qwen 27Bなど）は、活性化されるパラメータ数が少ないため、より高いTPSを提供できるSparse MoEモデル（DeepSeek-V4-Flashなど）と比較して、ユニファイドメモリアーキテクチャ上では一般的に実行速度が遅くなります。
  • コンテキストのロード: モデルは大きなコンテキストウィンドウをサポートしていますが、コンシューマー向けハードウェアでは初期プロンプト処理（prefill）が遅くなることがあり、リポジトリの探索中に大幅な待ち時間が発生する原因となります。
  • ツール呼び出し (Tool Calling): Qwen 3.6は可能ですが、一部のユーザーは、より小さなモデル（9B未満）では、信頼性の高いツール呼び出しやエージェント的ワークフローにおいて依然として苦戦していると感じています。

Sources

関連