intel/auto-round

A SOTA quantization algorithm for high-accuracy low-bit LLM inference, seamlessly optimized for CPU/XPU/CUDA, with multi-datatype support and full compatibility with vLLM, SGLang, and Transformers.

What it solves

AutoRound は、Large Language Models（LLMs）および Vision‑Language Models（VLMs）を超低ビット幅（2–4 ビット）に圧縮しながら高精度を維持できる量子化ツールキットです。メモリフットプリントと計算コストを削減し、さまざまなハードウェア上でのデプロイが容易になり、性能低下がほとんどありません。

How it works

このツールキットは、量子化中のラウンディングプロセスを最適化するために sign‑gradient descent アルゴリズムを使用します。auto-round-best（最高精度）や auto-round-rtn（最速ベースライン）など、速度と精度のバランスを取る複数の「レシピ」を提供します。また、AutoScheme API により、モデルサイズと精度のトレードオフを最適化する混合精度量子化レシピを自動生成できます。

Who it’s for

メモリが限られたハードウェア上で LLM や VLM をデプロイしたい AI 開発者・研究者、または vLLM、SGLang、Transformers などのフレームワークを使用して量子化モデルを本番環境に組み込みたい方を対象としています。

Highlights

  • High Accuracy at Low Bits: 2–3 ビットでも高いパフォーマンスを維持。
  • Broad Ecosystem Integration: Transformers、vLLM、SGLang、LLM‑Compressor とシームレスに連携。
  • Multiple Export Formats: AutoRound、AutoAWQ、AutoGPTQ、GGUF 形式をサポート。
  • Efficient Tuning: 単一 GPU で約 10 分で 7B モデルを量子化可能。
  • VLM Support: 10 以上のビジョン‑言語モデルに対して即座に量子化を提供。
  • Hardware Compatibility: CPU（Xeon）、GPU（CUDA、Intel GPU）、HPU（Gaudi）をサポート。