RTX 5080 and RTX 3090 Multi-GPU Setup for Qwen 3.6 27B

NVIDIA RTX 5080 (16GB) と再生品 RTX 3090 (24GB) を組み合わせたハイブリッド GPU 構成により、Qwen 3.6 27B Q8 量子化モデルを実行した際に 80 から 90+ tokens per second (tok/s) の推論速度を実現できます。このセットアップは、合計 40GB の VRAM を活用してモデルを収容し、Q8 KV-cache 量子化により、230k という大規模なコンテキストウィンドウをサポートします。

Hardware Configuration and PCIe Requirements

異なる世代（Blackwell と Ampere）の 2 つの GPU を使用するには、マザーボードが PCIe レーンの分割をサポートしている必要があります。

  • Motherboard: Asus Prime X570-Pro を使用して、16x PCIe スロットを 2x8 に分割しています。
  • Connectivity: 2 番目の GPU を接続するために、高品質な PCIe 4 ライザーが必要です。
  • VRAM Total: 16GB (RTX 5080) + 24GB (RTX 3090) = 合計 40GB の利用可能な VRAM。

BIOS and System Settings

マルチ GPU の認識とパフォーマンスのためには、正しい BIOS 設定が不可欠です。BIOS/MBR モードでの起動はサポートされておらず、UEFI が必要です。

BIOS で設定すべきパラメータは以下の通りです：

  • CSM (Compatibility Support Module): Disabled
  • Above 4G Decoding: Enabled
  • ReSize BAR Support: Auto または Enabled
  • PCIEX16_1 Link Mode: Gen 4
  • PCIEX16_2 Link Mode: Gen 4

Driver and Kernel Installation

混合世代の NVIDIA カードを使用する場合、nvidia-open ドライバーが推奨されます。同一世代の GPU の場合は、パッチ適用されたドライバー（open-gpu-kernel-modules など）が動作する場合もありますが、異なるアーキテクチャを混在させる場合は通常失敗します。

セットアップを検証するために、nvidia-smi コマンドで RTX 3090 と RTX 5080 の両方がアクティブなデバイスとして表示されることを確認してください。PCIe ポートがフルスピード（16GT/s, Width x8）で動作しているかを確認するには、以下のコマンドを使用します：

sudo lspci -vvv -s 07:00.0 | grep "LnkSta:"

llama.cpp Build and Execution

Build Flags

Ampere (RTX 3090) と Blackwell (RTX 5080) の両方のアーキテクチャをサポートするために、llama.cpp は特定の CUDA アーキテクチャフラグを指定してコンパイルする必要があります：

cmake -B build -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DGGML_NATIVE=ON -DGGML_CUDA_FA=ON -DGGML_CUDA_FA_ALL_QUANTS=ON -DCMAKE_CUDA_ARCHITECTURES="86;120" -DCMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc -DGGML_CUDA_NCCL=OFF
  • CMAKE_CUDA_ARCHITECTURES="86;120": 両方の GPU 世代をサポートします。
  • -DGGML_CUDA_NCCL=OFF: この特定の構成では、NCCL が逆効果になることが判明しました。

Execution Parameters

llama-server を以下のフラグで実行することで、VRAM 使用量とスループットを最適化できます：

llama-server -m ./models/Huihui-Qwen3.6-27B-abliterated-ggml-model-Q8_0.gguf \
    -c 229376 \
    -np 1 -fa on -ngl 99 -ub 512 -t 6 --no-mmap \
    --temp 0.7 --top-p 0.8 --top-k 20 --min-p 0.0 --presence-penalty 0.0 --repeat-penalty 1.0 \
    -ctk q8_0 -ctv q8_0 --kv-unified \
    --chat-template-kwargs {"preserve_thinking": true} \
    --spec-type ngram-mod,draft-mtp --spec-draft-n-max 3 \
    -sm tensor -ts 2,3 \
    --port 8001 --host 0.0.0.0

Key Optimization Details:

  • -sm tensor: マルチ GPU セットアップのためのテンソル分割（tensor splitting）を有効にします。
  • -ts 2,3: すべての VRAM を効率的に埋めるために、カードの使用率比率を設定します。
  • --spec-type ngram-mod,draft-mtp: トークン生成速度を向上させるために、投機的デコーディング（speculative decoding）に Multi-Token Prediction (MTP) と ngram-mod を使用します。
  • -ctk q8_0 -ctv q8_0: 230k のコンテキストウィンドウを維持しながらメモリを節約するために、KV-cache を Q8 に量子化します。

Performance Results

この構成では、Qwen 3.6 27B Q8 モデルに対して、約 81.84 から 91.13 tokens per second の生成速度を実現しています。

Community Insights and Counterpoints

コミュニティのユーザーからは、このセットアップに関する追加の技術的な洗練や検討事項が提供されています：

  • Parameter Tuning: Qwen 3.6 の「思考モード（thinking mode）」では、--temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.00 が最適な設定であり、コーディングタスクには --temp 0.6 が適していると提案されています。また、NVIDIA ハードウェア上では --spec-draft-n-max 2 の方が 3 よりも安定すると主張されています。

  • Model Alternatives: 著者は huihui-ai abliterated モデルを使用していますが、一部のコミュニティメンバーは、より高品質なモデルとして heretic または ExCal バージョンを推奨しています。

  • Power and Heat: 運用上の重要な懸念事項は消費電力です。この規模のデュアル GPU セットアップは、フルロード時で最大 700W を消費し、システム全体では 1kW に達する可能性があるため、電源ユニット (PSU) と熱管理が重要です。

  • Cost-Benefit Analysis: 一部のユーザーは、使用頻度が低い場合、ハードウェアと電気代に 2,000 ドル以上を投資するよりも、API アクセス（例：OpenRouter 経由）を利用する方が大幅に費用を節約できると指摘しています。

  • Alternative Hardware: 他のユーザーは、より予算重視の組み合わせ（例：MACHINIST X99 マザーボードと Xeon CPU を使用した RTX 3080 20GB カード 2 枚）でも、同様のパフォーマンス（80 tok/s）を実現したと報告しています。

Sources