破解本地 LLM：仅需 £200 为游戏 PC 添加数据中心 GPU

对于许多 AI 爱好者来说，运行本地大语言模型 (LLM) 的主要瓶颈不在于原始算力，而在于 VRAM。虽然像 RTX 4080 这样的现代 GPU 非常适合游戏，但其 16GB 的 VRAM 对于尖端开源模型的参数量来说往往不足。另一种选择通常是昂贵得令人望而却步的升级，例如更换为 RTX 5090 之类的显卡。

然而，存在一种高价值、高投入的替代方案：二手数据中心市场。通过利用退役的 Tesla V100 SXM2 和第三方适配器，可以用极低的成本实现 VRAM 容量翻倍。

硬件：Tesla V100 SXM2

Tesla V100 SXM2 是专为 NVIDIA HGX/DGX 服务器机架设计的 Volta 架构 GPU。与消费级显卡不同，SXM2 规格缺乏 PCIe 连接器、显示输出和标准电源连接器，因为它被设计为通过专有板卡上的 NVLink 进行通信。

尽管年代已久（2017 年发布），但由于其配备了 HBM2 显存，V100 在推理方面仍然是一个强力工具。凭借 4096-bit 的显存位宽，它能提供 900 GB/s 的带宽。直观地说，这张 2017 年的显卡在显存带宽上优于 Apple M4 Max (546 GB/s) 和 M5 Max (614 GB/s)，仅略逊于 RX 7900 XTX (960 GB/s)。

集成挑战

由于 V100 SXM2 无法直接插入主板，因此需要一个专门的 SXM2-to-PCIe 适配器。这个裸露的 PCB 让显卡能够插进标准的 PCIe 插槽，有效地将服务器级模块转变为桌面兼容的 GPU。

驯服“地狱之风扇”

数据中心 GPU 是为工业级冷却环境设计的，在那里噪音并不成问题。适配器的默认风扇是一个工业级鼓风机，运行在 100% 占空比下，产生大约 82 分贝的噪音——堪比割草机。

为了让系统在家庭环境中使用，必须手动“驯服”风扇。通过探测引脚定义，发现该风扇使用的是标准的 JST PH2.0 连接器。通过将直接的 12V 连接替换为连接到主板风扇插槽的 2.54mm 公对 PH2.0 母跳线，就可以通过 PWM 控制风扇。这使得 GPU 在满载时能保持在 50°C 以下，同时保持几乎静音。

软件配置与驱动程序障碍

将 Volta 架构 GPU 与现代 Ada Lovelace 架构 GPU（如 RTX 4080）集成在一起会产生驱动程序冲突。NVIDIA 在驱动分支 560 中取消了对 Volta 的支持，这意味着系统必须使用旧版 550.x 分支（或 NixOS 中的 legacy_535）来保持对两张显卡的兼容性。

NixOS 实现方式

使用 NixOS 可以简化这些特定依赖项的管理。所需的配置涉及将内核固定在 6.6 版本，并使用旧版 NVIDIA 驱动：

boot.kernelPackages = pkgs.linuxPackages_6_6;
hardware.nvidia.package = config.boot.kernelPackages.nvidiaPackages.legacy_535;
services.xserver.enable = true;
services.xserver.videoDrivers = [ "nvidia" ];

此外，由于当前的 nixpkgs 包含 CUDA 12.6，因此需要使用 overlay 来从旧版本中提取 CUDA 12.2，以匹配旧版驱动的要求。

性能与模型推理

通过 llama.cpp 的张量拆分 (tensor splitting)，结合 4080 和 V100 提供的 32GB 总 VRAM（16GB 来自 4080，16GB 来自 V100），可以运行更大的模型。

基准测试：Qwen3.6-27B-MTP

运行 Qwen3.6-27B-MTP 模型（量化为 Q5_K_M，约 19GB）的结果如下：

  • 推理速度： ~32 tokens/sec
  • 提示词处理速度： 133–160 tokens/sec
  • 上下文窗口： 128k tokens

这种性能足以媲美云端 API。使用多令牌预测 (MTP) 技术进一步通过同时预测多个未来令牌来提升生成速度，在处理如代码等可预测的输出时，速度可能达到 50–60 tok/s。

视觉能力

通过添加多模态投影器文件 (mmproj)，该配置支持图像输入。视觉编码器将图像像素压缩为向量，LLM 处理这些向量作为文本令牌，这仅为总 VRAM 需求增加了约 1GB。

关键考虑因素与权衡

虽然性价比极高，但这种方案并非没有缺点。社区意见指出了几个关键风险：

  • 预填充延迟： 虽然 32 tok/s 对于聊天非常棒，但预填充速度（提示词处理）对于智能体 (agentic) 工作负载可能会成为瓶颈。以 150 tok/s 的速度处理 100k tokens 会导致超过 11 分钟的等待时间。
  • 硬件限制： V100 不支持 bfloat16，这在处理某些现代模型时，与较新硬件相比可能会导致轻微的性能损失。
  • 电力与散热： 数据中心 GPU 的待机功耗很高（25–50W），且需要强力冷却。一些用户建议使用水冷头为 V100 进行水冷，作为 PWM 风扇改装的更稳健替代方案。
  • 稳定性： ACPI 枚举问题可能会导致 V100 在热重启后“消失”，需要通过完全断电重启（power cycle）来恢复功能。

结论

只需约 £200，这种配置就能提供一个高 VRAM 环境，能够运行足以媲美专有云端服务的模型。虽然这需要大量的技术投入——包括驱动程序调试、调试硬件改装、内核版本固定，——但最终得到的是一个本地、私密且具有成本效益的 AI 工作站。

Sources