VRAM予算管理：ローカルLLM用にゲーミングPCへデータセンターGPUを追加する

ローカルで大規模言語モデル（LLM）を実行する開発者や AI 愛好家にとって、主なボトルネックはほぼ常に VRAM です。RTX 4080 のようなハイエンドコンシューマーカードはゲーム性能が優れているものの、16 GB の VRAM では、実際にプロプライエタリなクラウド API と競えるほどの大規模で高性能なモデルを走らせるには不足しがちです。

32 GB や 48 GB のコンシューマーカードへのアップグレード費用が高騰した場合、代替手段として中古データセンターマーケットがあります。廃止された Tesla V100 SXM2 を標準的なゲーミング PC に組み込むことで、新規ハードウェアのごく一部のコストで VRAM を倍増させることが可能です。

ハードウェア：Tesla V100 SXM2

Tesla V100 SXM2 は NVIDIA の DGX/HGX サーバーラック向けに設計された Volta アーキテクチャ GPU です。コンシューマーカードとは異なり、PCIe コネクタやディスプレイ出力、標準的な電源コネクタがなく、専用基板上に搭載され NVLink で通信するよう設計されています。

2017 年に発売されたものの、HBM2 メモリを搭載した V100 は推論において依然として強力です。4096 ビットのメモリバスは 900 GB/s の帯域幅を提供します。比較すると、Apple M3 Max（400 GB/s）や M4 Max（546 GB/s）を上回り、RTX 4080 の 736 GB/s すら僅かに上回ります。メモリ帯域幅がトークン/秒を決定する LLM 推論において、価格に対して非常に効率的な選択肢となります。

コネクタギャップの克服

SXM2 カードをコンシューマーマザーボードで使用するには、サードパーティ製の SXM2‑to‑PCIe アダプタが必要です。この裸の PCB が専用ソケットを標準的な PCIe エッジコネクタに変換し、GPU を既存ハードウェアと共にマザーボードに差し込めるようにします。

「地獄のファン」への対処

データセンター向け GPU は 2U サーバー筐体用に高静圧冷却が前提です。これらのアダプタに付属するファンは通常 PWM 非対応で、常に 100 % 回転しています。家庭環境では約 82 dB の騒音となり、芝刈り機と同等です。

この問題を解決するには、ファンの配線を変更します。アダプタ上の JST PH2.0 コネクタを特定し、2.54 mm オス‑to‑PH2.0 メス ジャンパーケーブルでマザーボードのファンヘッダーに直接接続します。これにより PWM 制御が可能となり、フルロード時でも GPU 温度を 50 °C 未満に保ちつつ、ファン回転数を 10 % に抑えてシステムを静音化できます。

NixOS によるソフトウェアオーケストレーション

異なる GPU アーキテクチャ（RTX 4080 の Ada Lovelace と V100 の Volta）を併用すると、ドライバ互換性の課題が生じます。NVIDIA はドライバブランチ 560 で Volta のサポートを打ち切ったため、両カードを同時に動作させるにはレガシードライバが必要です。

NixOS を使うと依存関係の管理が簡素化されます。システムを動かすために必要な設定は以下の通りです。

  • カーネル: Linux 6.6（レガシードライバがサポートしない可能性があるため、より新しいカーネルは避ける）
  • ドライバ: nvidiaPackages.legacy_535（ブランチ 550.x）
  • CUDA: バージョン 12.2（現在の nixpkgs では 12.6+ が提供されているため、古いリリースから取得）
  • X Server: ヘッドレスサーバでも NVIDIA カーネルモジュールをロードするために有効化が必須（services.xserver.enable = true）

パフォーマンスとモデル実行

合計 32 GB の VRAM が確保できれば、Qwen3.6-27B-MTP（Q5_K_M で量子化）などのモデルを GPU に完全オフロードできます。llama.cpp のテンソル分割オプション（-ts 1.0,1.0）を用いると、モデルは 4080 と V100 の両方に分散されます。

主なパフォーマンス指標:

  • 推論速度: ‹32 トークン/秒
  • プロンプト処理: 133–160 トークン/秒
  • コンテキストウィンドウ: 128k トークン

このモデルの大きな利点は マルチトークン予測（MTP） で、複数のトークンを同時に予測できます。MTP が有効になると、特にコードなど構造化出力の場合、生成速度が 50–60 トークン/秒に跳ね上がります。

ビジョン機能

マルチモーダルプロジェクタファイル（mmproj）を追加することで、画像入力が可能になります。ビジョンエンコーダは画像ピクセルをテキストトークンと同じ数学空間にマッピングするベクトルに圧縮し、追加でわずか 1 GB の VRAM オーバーヘッドで画像を扱えるようにします。

重要な考慮点とトレードオフ

「性能／コスト比」は高いものの、以下のような欠点もあります。

  1. プリフィル遅延: コミュニティメンバーが指摘するように、32 tok/s はチャットには十分でも、エージェント系ワークロードではプリフィル速度（プロンプト処理）がボトルネックになります。100,000 トークンを 150 tok/s で処理すると、約 11 分以上の待ち時間が発生します。
  2. ハードウェア制限: V100 は bfloat16 をサポートしていません。多くの最新モデルで標準となっているため、ローカル実験では致命的ではないものの、留意すべき制約です。
  3. 電力と熱: データセンター GPU はアイドル時でも 25–50 W の消費電力があります。アクティブ冷却やカスタム水冷ブロックが無いと、すぐに過熱します。
  4. 安定性: 一部ユーザーは ACPI 列挙の問題を報告しており、暖かい再起動後に GPU が消失し、完全な電源サイクルが必要になることがあります。

結論

ドライバ、カーネル、ハードウェアジャンパーの調整に抵抗がなければ、中古データセンターマーケットは驚異的なコストパフォーマンスを提供します。約 £200 で中位ゲーミング PC を、プロプライエタリなクラウドサービスに匹敵するモデルを走らせられる本格的な AI ワークステーションに変えることができ、データプライバシーの完全保持とトークン単位のコストゼロを実現できます。

Sources