intel/auto-round

A SOTA quantization toolkit for high-accuracy low-bit LLM inference|简洁且高效的量化工具包

intel/auto‑round – LLM および VLM 用の高度な低ビット量定化ツールキット

何であるか – AutoRound は、大規模言語モデル（LLM）および視覚言語モデル（VLM）を超高ビット幅（2–4 ビット）に量定化する Python ライブラリ（Python 3.10+）です。これは「符号勾配降下」アルゴリズムと、オプションの後処理ステップ（AWQ、Hadamard など）を用いて、元の精度の大部分を維持しながら実現します。

なぜ重要か – 量定化はモデルサイズと推論遅延を削減し、CPU、Intel GPU（XPU）、NVIDIA GPU、Habana Gaudi HPU、さらにはデバイス内環境でのデプロイを可能にします。AutoRound は 2–3 ビットでの最先端の精度を主張し、Transformers、vLLM、SGLang、LLM‑Compressor などの人気推論スタックとシームレスに統合されています。

主な機能（README に記載）

2–4 ビットでの高精度 – 数十のモデルでベンチマーク化され、INT2-ミックスモデルで元の性能の 97% 以上を達成する例も存在。
広範なハードウェア対応 – CPU（Xeon）、Intel XPU、CUDA GPU、Habana Gaudi HPU で動作。
複数のエクスポート形式 – AutoRound のネイティブ形式、AutoAWQ、AutoGPTQ、GGUF（多くの GGUF 量定化タイプを含む）への出力が可能。
高速なミックス精度スキーム生成 – AutoScheme ユーティリティは、モデルの BF16 RAM の約 1.1–1.5 倍のオーバーヘッドで、数分でレイヤーごとのミックスビットレシピを生成。
さまざまな量定化レシピ – auto-round、auto-round-best、auto-round-light、auto-round-opt-rtn、auto-round-rtn など、速度と精度のトレードオフをユーザーが選択可能。
Torch-compile の加速 – オプションの torch.compile による高速化（非 Windows プラットフォームではデフォルトで有効）。
キャリブレーション不要／モデル不要モード – 特定のスキームではキャリブレーションデータなしで実行可能。また、このような実行のために無料デバイスサービスも提供。
10 以上の視覚言語モデルに対応 – マルチモーダルモデル用のオートメーションパイプラインを標準搭載。
実験的拡張 – アルゴリズムの組み合わせ（--algs awq,signround）、ブロック単位の FP8、MXFP/NVFP データ型、ミックス精度 AutoScheme など。

インストール

# CPU または CUDA GPU
pip install auto-round            # ステーブルリリース
pip install auto-round-nightly    # ナイトリービルド

# Habana Gaudi (HPU) – Habana コンテナ内にインストール
pip install auto-round-hpu

# Intel XPU (GPU)
pip install torch --index-url https://download.pytorch.org/whl/xpu
pip install auto-round

*ソースビルドも pip install . または python setup.py install hpu でサポートされています。

クイックスタート（CLI）

auto-round \
  --model Qwen/Qwen3-0.6B \
  --scheme "W4A16" \
  --format "auto_round" \
  --output_dir ./quantized_qwen

--scheme を W2A16、MXFP4、GGUF:Q4_K_M など、任意のサポートされるスキームに置き換えてください。

クイックスタート（Python API）

from auto_round import AutoRound

ar = AutoRound(
    model_name_or_path="Qwen/Qwen3-0.6B",
    scheme="W4A16",
    iters=200,               # チューニング反復回数（0 = 純粋な RTN）
    low_gpu_mem_usage=False # VRAM を節約するには True に設定（速度の低下を伴う）
)

ar.quantize_and_save(output_dir="./qmodel", format="auto_round")

API は CLI オプションと一致しており、主な引数には scheme、bits、group_size、iters、lr、dataset、device_map、および実験的 enable_alg_ext フラグ（アルゴリズム拡張用）があります。

エコシステム統合

Transformers – 変換後、AutoModelForCausalLM.from_pretrained(..., device_map="auto") で直接ロード可能。
vLLM – vLLM-Omni ブランチを介してネイティブサポート（実験的 AutoScheme WOQ デプロイも対応）。
SGLang – ドキュメント化された量定化フック。
LLM-Compressor – AutoRound のレシピを転送するプラグイン。
GGUF – llama.cpp およびその他の GGUF 対応ランタイムで使用可能な GGUF 形式へのエクスポート。

ドキュメントとリソース

ユーザーガイド – ステップバイステップチュートリアル：docs/step_by_step.md（英語および中国語）。
アルゴリズムの組み合わせ – docs/algorithm_combinations.md。
AutoScheme の精度 – docs/auto_scheme_acc.md。
ベンチマークリーダーボード – Hugging Face Space Intel/low_bit_open_llm_leaderboard。
研究論文 – SignRoundV1 (arXiv 2309.05516) および SignRoundV2 (arXiv 2512.04746)。

だれが使うべきか？

エッジやコスト制約のある推論向けに LLM を小型化したい ML エンジニア。
超低ビット量定化アルゴリズムを実験したい 研究者。
既存の Hugging Face パイプラインや主要な推論サーバーと連携できる即時使用型量定化ツールが必要な プロダクトチーム。

TL;DR

AutoRound は、Intel のオープンソースで pip でインストール可能なツールキットであり、LLM/VLM を 2–4 ビット表現に量定化しながら精度の損失を最小限に抑え、広範なハードウェアをサポートし、主要なモデルサービングスタックにシームレスに統合されます。