intel/auto-round

A SOTA quantization algorithm for high-accuracy low-bit LLM inference, seamlessly optimized for CPU/XPU/CUDA, with multi-datatype support and full compatibility with vLLM, SGLang, and Transformers.

What it solves

AutoRound 是一個量化工具套件，讓大型語言模型（LLMs）與視覺語言模型（VLMs）能壓縮至超低位元寬度（2–4 位元），同時保持高精度。它減少了模型的記憶體佔用與計算需求，使得這些模型更容易在各種硬體上部署，而不會有顯著的效能損失。

How it works

此套件使用 sign‑gradient descent 演算法在量化過程中最佳化捨入步驟。它提供多種「配方」(例如 auto-round-best 以取得最高精度，或 auto-round-rtn 以獲得最快基線) 以在速度與精度之間取得平衡。亦提供 AutoScheme API，能自動產生混合精度量化配方，最佳化模型大小與精度的取捨。

Who it’s for

此工具設計給需要在記憶體受限硬體上部署 LLM 或 VLM 的 AI 開發者與研究者，同時也適用於將量化模型整合至生產環境，支援 vLLM、SGLang、Transformers 等框架。

Highlights

  • High Accuracy at Low Bits: 在 2–3 位元下仍能維持強勁表現。
  • Broad Ecosystem Integration: 可無縫搭配 Transformers、vLLM、SGLang 與 LLM‑Compressor。
  • Multiple Export Formats: 支援 AutoRound、AutoAWQ、AutoGPTQ 與 GGUF 格式。
  • Efficient Tuning: 能在單一 GPU 上約 10 分鐘內量化 7B 模型。
  • VLM Support: 開箱即用量化超過 10 種視覺語言模型。
  • Hardware Compatibility: 支援 CPU（Xeon）、GPU（CUDA、Intel GPU）與 HPU（Gaudi）。