local-inference-lab/rtx6kpro

RTX PRO 6000 Blackwell LLM Wiki

简介 – 这是一个由社区维护、极其详细的 Wiki，记录了如何在 NVIDIA RTX PRO 6000 Blackwell (SM120) PCIe GPU 上运行最先进的大型语言模型。它整合了可复现的 Docker 镜像、精确的启动指令、基准测试表、量化保真度检查以及底层硬件调优笔记。

重要性 – 在仅支持 PCIe 的 Blackwell 服务器上以高吞吐量运行前沿模型（如 GLM-5.x、Qwen 3.8-Flash、DeepSeek-V4、Kimi、Xiaomi MiMo 等）并非易事。本仓库涵盖了完整的技术堆栈——从 Docker 构建脚本到 PCIe 拓扑建议——让用户能够复现已发布的性能数据并避免常见陷阱。

主要内容

• 统一 Docker 启动指南 (docs/unified-vllm-docker.md)：构建一个支持 vLLM、SGLang、推测解码 (speculative decoding) 以及选配 LMCache 的单一镜像。
• 模型专用运行手册 (例如 models/glm-5.3-flash.md, models/qwen38-flash-next.md)：包含精确的 vllm/sglang 命令行、TP/MTP/DFlash 设置以及测得的吞吐量。
• 基准测试与质量章节 – 整合的吞吐量表格、Kullback-Leibler-Divergence (KLD) 量化保真度检查，以及任务级质量比较（例如捷克语辅导工作负载）。
• 硬件与拓扑文档 – SM120 与 SM100 架构对比、PCIe 5.0 带宽、功耗限制扫描以及机箱专用布线指南。
• 优化笔记 – 推测解码、NVFP4 量化、B12X FP8 内核、NCCL 调优、PCIe-oneshot all-reduce、I/O 调优。
• 疑难排解与入门 – 常见问题、新手入门指南以及缩写词汇表，以确保密集的术语易于阅读。

适用对象

• 拥有 RTX PRO 6000 Blackwell 服务器访问权限，且需要可复现、高性能 LLM 推理服务的工程师与研究人员。
• 需要精确速度/质量报告的内部推理服务构建团队。
• 任何希望了解前沿模型底层 GPU 特定优化（MTP、DSpark、DFlash、NVFP4 等）的人员。

入门指南

1. 阅读入门文档 (docs/newcomer-onboarding.md) 以了解预期的工作流程。
2. 构建统一 Docker 镜像，请遵循 docs/unified-vllm-docker.md 中的指南。
3. 选择一个模型中心 (例如 models/glm-5.3-flash.md) 并复制提供的启动指令。
4. 确认您的硬件符合记录的配置（GPU 数量、PCIe 拓扑、功耗限制）。
5. 运行模型页面链接的基准测试或质量脚本，以确认您能复现报告的数据。

总结 – 本仓库是一个活生生、可复现的参考资料，适合任何希望在 NVIDIA 最新 Blackwell GPU 上榨出最大推理性能，同时保持严格质量与基准测试标准的用户。