local-inference-lab/rtx6kpro

RTX PRO 6000 Blackwell LLM Wiki

概要 – NVIDIA RTX PRO 6000 Blackwell (SM120) PCIe GPU上で最先端の大規模言語モデルを実行する方法を記録した、コミュニティ主導の非常に詳細なWikiです。再現可能なDockerイメージ、正確な起動コマンド、ベンチマーク表、量子化忠実度チェック、および低レベルのハードウェアチューニングに関するメモをまとめています。

重要性 – PCIeのみのBlackwellサーバー上で、最先端モデル（GLM-5.x、Qwen 3.8-Flash、DeepSeek-V4、Kimi、Xiaomi MiMoなど）を高スループットで実行することは容易ではありません。このリポジトリは、DockerビルドスクリプトからPCIeトポロジーのアドバイスに至るまで、スタック全体を網羅しており、ユーザーが公開されている速度数値を再現し、一般的な落とし穴を回避できるようにします。

主な内容

• 統合Docker起動ガイド (docs/unified-vllm-docker.md)：vLLM、SGLang、推論デコード (speculative decoding)、およびオプションのLMCacheをサポートする単一イメージをビルドします。
• モデル固有のランブック (例: models/glm-5.3-flash.md, models/qwen38-flash-next.md)：正確な vllm/sglang コマンドライン、TP/MTP/DFlash設定、および測定されたスループットを記載。
• ベンチマークと品質セクション – 統合されたスループット表、Kullback-Leibler-Divergence (KLD) 量子化忠実度チェック、およびタスクレベルの品質比較（例：チェコ語の個別指導ワークロード）。
• ハードウェアとトポロジーのドキュメント – SM120とSM100アーキテクチャの比較、PCIe 5.0帯域幅、電力制限スイープ、およびシャーシ固有の配線ガイド。
• 最適化メモ – 推論デコード、NVFP4量子化、B12X FP8カーネル、NCCLチューニング、PCIe-oneshot all-reduce、I/Oチューニング。
• トラブルシューティングとオンボーディング – よくある問題、初心者向けオンボーディングガイド、および専門用語を読みやすくするための用語集。

対象読者

• RTX PRO 6000 Blackwellサーバーにアクセスでき、再現可能で高性能なLLMサービングを必要とするエンジニアおよび研究者。
• 正確な速度/品質レポートを必要とする社内推論サービスを構築しているチーム。
• 最先端モデル向けの低レベルなGPU固有の最適化（MTP、DSpark、DFlash、NVFP4など）を理解したい方。

はじめに

1. オンボーディングドキュメントを読む (docs/newcomer-onboarding.md)：期待されるワークフローを理解します。
2. 統合Dockerイメージをビルドする：docs/unified-vllm-docker.md のガイドに従います。
3. モデルハブを選択する (例: models/glm-5.3-flash.md)：提供されている起動コマンドをコピーします。
4. ハードウェアが記録された構成（GPU数、PCIeトポロジー、電力制限）と一致していることを確認します。
5. モデルページからリンクされているベンチマークまたは品質スクリプトを実行し、報告された数値を再現できることを確認します。

結論 – このリポジトリは、NVIDIAの最新のBlackwell GPUから最大限の推論パフォーマンスを引き出しつつ、厳格な品質とベンチマーク基準を維持したいすべての人のための、生きた再現可能なリファレンスです。