microsoft/VPTQ

VPTQ, A Flexible and Extreme low-bit quantization algorithm

解决的问题

VPTQ 解决了在无需重新训练的情况下，将大语言模型 (LLM) 压缩至极低位宽（2 bit 以下）的挑战，同时保持高准确度并最大限度地减少推理开销。

它利用了一种基于矢量量化 (Vector Quantization) 的新型训练后量化 (PTQ) 方法。这种方法允许将巨型模型（如 Llama-3.1 405B）压缩至 1-2 bit。该过程设计得非常轻量，量化一个 405B 参数的模型大约需要 17 小时。

需要在内存有限的硬件上部署巨型 LLM 的 AI 开发人员和研究人员（例如在单个 RTX 4090 上运行 70B 模型），以及寻求低解码开销、高吞吐量推理的人员。

项目
ModelCloud/GPTQModel
一个综合性的 LLM 量化工具包，利用 GPTQ 和 AWQ 等方法压缩模型，并通过 NVIDIA、AMD、Intel 和华为 NPU 等硬件加速实现高效推理。
项目
vllm-project/llm-compressor
LLM Compressor 是一个 Python 库，可将大型语言模型量化并剪枝为 `compressed-tensors` 格式，实现 vLLM 的内存高效部署。支持多种低精度格式（NVFP4、FP8、INT4 等）、多种 PTQ/GPTQ 算法、DDP 和磁盘卸载以处理超大模型，并提供多个热门 LLM 的预量化检查点。
Dispatch
Hugging Face AutoGPTQ 与 Transformers 集成
Hugging Face 已将 AutoGPTQ 库集成到 Transformers 中，实现了将 LLM 量化为 8、4、3 或 2 位精度，从而在 4 位精度下实现极低精度损失的同时减少内存需求。
项目
intel/auto-round
AutoRound 是 Intel 开源的 Python 工具包，用于对大型语言模型和视觉语言模型进行超低位元 (2-4 bit) 量化。它提供快速且高精度的方案，支持 CPU、Intel GPU、NVIDIA CUDA 和 Habana Gaudi，并与 Transformers、vLLM 和 SGLang 集成。通过 pip 安装，执行单行 CLI 或使用 Python API，即可部署量化模型至任何支持的后端。
项目
InternLM/lmdeploy
用于压缩、部署和提供 LLM 和 VLM 的高性能工具包，提供高吞吐推理引擎和量化技术，以最大化处理效率。