vllm-project/compressed-tensors

解决的问题

compressed-tensors 是一个旨在解决模型压缩格式碎片化问题的库。不同的量化与压缩技术（如 GPTQ、AWQ 和 SmoothQuant）通常使用专有或不一致的存储格式，这使得开发者难以在它们之间切换或在不同的推理引擎中部署模型。

运作方式

它扩展了 safetensors 格式以建立一个统一且可扩展的检查点格式。这使得它能够在单一一致的结构中表示多种压缩方案，包括混合精度、低位元量化和稀疏模式。它还提供了检查点转换工具，以及将超出可用 VRAM 的模型透明地卸载到 CPU 或磁盘的功能。

目标对象

需要压缩 LLM 以进行高效部署、尝试不同量化方法并简化模型部署流程的 AI 研究人员与开发者。

特色亮点

• 统一格式：在单一一致的格式中支持多种压缩方案（GPTQ、AWQ、SmoothQuant、SparseGPT 等）。
• 广泛的量化支持：处理激活量化、混合精度、KV 缓存量化以及不同层级采用不同量化方式的非均匀方案。
• 稀疏性与转换：支持非结构化与半结构化 (2:4) 稀疏性，以及基于旋转的量化转换（例如 Hadamard）。
• 生态系统整合：专为与 Hugging Face、PyTorch、vLLM 和 SGLang 无缝协作而设计。
• 检查点转换：能够在各种格式（如 AutoAWQ 和 ModelOpt NVFP4）之间进行转换。