local-inference-lab/rtx6kpro

RTX PRO 6000 Blackwell LLM Wiki

소개 – NVIDIA RTX PRO 6000 Blackwell (SM120) PCIe GPU에서 최첨단 대규모 언어 모델을 실행하는 방법을 문서화한 커뮤니티 관리형 상세 위키입니다. 재현 가능한 Docker 이미지, 정확한 실행 명령어, 벤치마크 표, 양자화 충실도 검사 및 저수준 하드웨어 튜닝 노트를 포함합니다.

중요성 – PCIe 전용 Blackwell 서버에서 최첨단 모델(GLM-5.x, Qwen 3.8-Flash, DeepSeek-V4, Kimi, Xiaomi MiMo 등)을 높은 처리량으로 실행하는 것은 간단하지 않습니다. 이 저장소는 Docker 빌드 스크립트부터 PCIe 토폴로지 조언까지 전체 스택을 다루므로, 사용자가 게시된 속도 수치를 재현하고 일반적인 함정을 피할 수 있도록 돕습니다.

주요 내용

• 통합 Docker 실행 가이드 (docs/unified-vllm-docker.md)：vLLM, SGLang, 추측 디코딩(speculative decoding) 및 선택적 LMCache를 지원하는 단일 이미지를 빌드합니다.
• 모델별 런북 (예: models/glm-5.3-flash.md, models/qwen38-flash-next.md)：정확한 vllm/sglang 명령줄, TP/MTP/DFlash 설정 및 측정된 처리량을 제공합니다.
• 벤치마크 및 품질 섹션 – 통합 처리량 표, Kullback-Leibler-Divergence (KLD) 양자화 충실도 검사 및 작업 수준의 품질 비교(예: 체코어 튜터링 워크로드).
• 하드웨어 및 토폴로지 문서 – SM120 대 SM100 아키텍처, PCIe 5.0 대역폭, 전력 제한 스윕 및 섀시별 배선 가이드.
• 최적화 노트 – 추측 디코딩, NVFP4 양자화, B12X FP8 커널, NCCL 튜닝, PCIe-oneshot all-reduce, I/O 튜닝.
• 문제 해결 및 온보딩 – 일반적인 문제, 초보자 온보딩 가이드 및 복잡한 용어를 읽기 쉽게 정리한 약어 사전.

사용 권장 대상

• RTX PRO 6000 Blackwell 서버에 액세스할 수 있으며 재현 가능하고 고성능인 LLM 서빙이 필요한 엔지니어 및 연구원.
• 정확한 속도/품질 보고가 필요한 내부 추론 서비스를 구축하는 팀.
• 최첨단 모델을 위한 저수준 GPU 특정 최적화(MTP, DSpark, DFlash, NVFP4 등)를 이해하고자 하는 모든 사람.

시작하기

1. 온보딩 문서 읽기 (docs/newcomer-onboarding.md)：예상되는 워크플로우를 이해합니다.
2. 통합 Docker 이미지 빌드：docs/unified-vllm-docker.md의 가이드를 따릅니다.
3. 모델 허브 선택 (예: models/glm-5.3-flash.md)：제공된 실행 명령어를 복사합니다.
4. 하드웨어가 문서화된 구성(GPU 개수, PCIe 토폴로지, 전력 제한)과 일치하는지 확인합니다.
5. 모델 페이지에 링크된 벤치마크 또는 품질 스크립트를 실행하여 보고된 수치를 재현할 수 있는지 확인합니다.

결론 – 이 저장소는 NVIDIA의 최신 Blackwell GPU에서 최대 추론 성능을 끌어내면서도 엄격한 품질 및 벤치마크 표준을 유지하려는 모든 사람을 위한 살아있는 재현 가능한 참조 자료입니다.