microsoft/VPTQ

VPTQ, A Flexible and Extreme low-bit quantization algorithm

解決的問題

VPTQ 解決了在無需重新訓練的情況下，將大型語言模型 (LLM) 壓縮至極低位元寬度（2 bits 以下）的挑戰，同時保持高準確度並將推理開銷降至最低。

它利用了一種基於向量量化 (Vector Quantization) 的新型訓練後量化 (PTQ) 方法。這種方法允許將巨型模型（例如 Llama-3.1 405B）壓縮至 1-2 bits。該過程設計得非常輕量，量化一個 405B 參數的模型大約需要 17 小時。

需要在記憶體有限的硬體上部署巨型 LLM 的 AI 開發人員與研究人員（例如在單個 RTX 4090 上執行 70B 模型），以及尋求低解碼開銷、高吞吐量推理的人員。

專案
ModelCloud/GPTQModel
一個綜合性的 LLM 量化工具包，利用 GPTQ 和 AWQ 等方法壓縮模型，並透過 NVIDIA、AMD、Intel 和華為 NPU 等硬體加速實現高效推理。
專案
vllm-project/llm-compressor
LLM Compressor 是一個 Python 庫，可將大型語言模型量化並剪枝為 `compressed-tensors` 格式，實現 vLLM 的記憶體高效部署。支援多種低精度格式（NVFP4、FP8、INT4 等）、多種 PTQ/GPTQ 算法、DDP 和磁碟卸載以處理超大模型，並提供多個熱門 LLM 的預量化檢查點。
Dispatch
Hugging Face AutoGPTQ 與 Transformers 整合
Hugging Face 已將 AutoGPTQ 函式庫整合至 Transformers 中，實現了將 LLM 量化為 8、4、3 或 2 位元精度，在 4-bit 下能以微乎其微的精度損失來降低記憶體需求。
專案
intel/auto-round
AutoRound 是 Intel 開源的 Python 工具包，用於對大型語言模型和視覺語言模型進行超低位元 (2-4 bit) 量化。它提供快速且高精度的方案，支援 CPU、Intel GPU、NVIDIA CUDA 和 Habana Gaudi，並與 Transformers、vLLM 和 SGLang 整合。透過 pip 安裝，執行單行 CLI 或使用 Python API，即可部署量化模型至任何支援的後端。
專案
InternLM/lmdeploy
用於壓縮、部署與提供 LLM 與 VLM 的高性能工具包，提供高吞吐推理引擎與量化技術，以最大化處理效能。