z-lab/paroquant

[ICLR 2026] ParoQuant: Pairwise Rotation Quantization for Efficient Reasoning LLM Inference

解決的問題

ParoQuant 解決了大語言模型（LLMs）在 INT4 量化過程中通常伴隨的精度損失問題，特別是在推理任務中。它旨在縮小低精度（INT4）與高精度（FP16）模型之間的性能差距，同時保持高推理速度。

工作原理

本專案實作了成對旋轉量化（Pairwise Rotation Quantization），透過學習得到的成對旋轉來抑制權重異常值。此技術使模型能在不產生傳統量化方法中常見的顯著精度下降的情況下，壓縮至 4 位元精度。

適用對象

專為需要在有限硬體上高效運行大模型的開發者與研究人員設計，特別是使用 NVIDIA GPU（透過 vLLM 和 Transformers）或 Apple Silicon（透過 MLX）的使用者。

核心亮點

  • 高效率：運行速度與 AWQ 相當。
  • 廣泛硬體支援：相容 NVIDIA GPU 與 Apple Silicon。
  • 預量化模型：在 Hugging Face 上提供大量 Qwen、Gemma 和 Llama 模型的 ParoQuant 優化版本。
  • 自訂量化：包含優化旋轉參數的工具，以及將現有模型轉換為 ParoQuant 檢查點的工具。

相關

  • 專案
    ModelCloud/GPTQModel

    一個綜合性的 LLM 量化工具包，利用 GPTQ 和 AWQ 等方法壓縮模型，並透過 NVIDIA、AMD、Intel 和華為 NPU 等硬體加速實現高效推理。

  • Dispatch
    Intel AutoRound：先進的僅權重量化，適用於 LLM 與 VLM

    Intel 推出了 AutoRound，一種僅權重的後訓練量化方法，利用有號梯度下降實現對 LLM 與 VLM 的高精度低位元量化（INT2-INT8）。

  • 專案
    intel/auto-round

    AutoRound 是 Intel 的開源 Python 工具包，用於將大型語言模型與視覺-語言模型超低比特（2–4 位）量化。它提供高準確度的捨入（符號梯度下降）、多種匯出格式（AutoRound、AutoAWQ、AutoGPTQ、GGUF），並可與 Transformers、vLLM、SGLang 和 LLM-Compressor 無縫整合。透過 `pip install auto-round`（或 HPU/XPU 變體）安裝，使用簡單 CLI（`auto-round …`）或 Python API（`AutoRound(...).quantize_and_save`）即可完成模型量化。

  • 專案
    Picovoice/picollm

    一個跨平台推理引擎，可在從手機到網頁瀏覽器的各類裝置上本地執行高準確度、壓縮的 LLM。

  • 專案
    FujitsuResearch/OneCompression

    一個使用 QEP 與 AutoBit 等先進量化技術來減少模型大小與 VRAM 使用的 Python 套件。