z-lab/paroquant

[ICLR 2026] ParoQuant: Pairwise Rotation Quantization for Efficient Reasoning LLM Inference

解决的问题

ParoQuant 解决了大语言模型（LLMs）在 INT4 量化过程中通常伴随的精度损失问题，特别是在推理任务中。它旨在缩小低精度（INT4）与高精度（FP16）模型之间的性能差距，同时保持高推理速度。

工作原理

该项目实现了成对旋转量化（Pairwise Rotation Quantization），通过学习得到的成对旋转来抑制权重异常值。该技术使模型能够在不出现传统量化方法中常见的显著精度下降的情况下，压缩至 4 位精度。

适用人群

专为需要在有限硬件上高效运行大模型的开发者和研究人员设计，特别是使用 NVIDIA GPU（通过 vLLM 和 Transformers）或 Apple Silicon（通过 MLX）的用户。

核心亮点

  • 高效率：运行速度与 AWQ 相当。
  • 广泛硬件支持：兼容 NVIDIA GPU 和 Apple Silicon。
  • 预量化模型：在 Hugging Face 上提供大量 Qwen、Gemma 和 Llama 模型的 ParoQuant 优化版本。
  • 自定义量化：包含优化旋转参数的工具，以及将现有模型转换为 ParoQuant 检查点的工具。

相关

  • 项目
    ModelCloud/GPTQModel

    一个综合性的 LLM 量化工具包，利用 GPTQ 和 AWQ 等方法压缩模型，并通过 NVIDIA、AMD、Intel 和华为 NPU 等硬件加速实现高效推理。

  • Dispatch
    英特尔 AutoRound：面向 LLM 和 VLM 的高级仅权重量化

    英特尔推出了 AutoRound，这是一种仅权重的后训练量化方法，使用有符号梯度下降实现对 LLM 和 VLM 的高精度低位量化（INT2-INT8）。

  • 项目
    intel/auto-round

    AutoRound 是 Intel 的开源 Python 工具包，用于将大语言模型和视觉-语言模型超低比特（2–4 位）量化。它提供高精度的舍入（符号梯度下降）、多种导出格式（AutoRound、AutoAWQ、AutoGPTQ、GGUF），并可无缝集成 Transformers、vLLM、SGLang 和 LLM-Compressor。通过 `pip install auto-round`（或 HPU/XPU 变体）安装，使用简单 CLI（`auto-round …`）或 Python API（`AutoRound(...).quantize_and_save`）即可完成模型量化。

  • 项目
    Picovoice/picollm

    一个跨平台推理引擎，可在从手机到网页浏览器的各类设备上本地运行高精度、压缩的 LLM。

  • 项目
    FujitsuResearch/OneCompression

    一个使用 QEP 和 AutoBit 等先进量化技术来减少模型大小和 VRAM 使用的 Python 包。