z-lab/paroquant

[ICLR 2026] ParoQuant: Pairwise Rotation Quantization for Efficient Reasoning LLM Inference

何を解決するか

ParoQuantは、大規模言語モデル（LLMs）におけるINT4量子化で通常見られる精度の低下を解決します。特に推論タスクにおいて、低精度（INT4）と高精度（FP16）モデルの性能ギャップを埋め、高い推論速度を維持します。

動作方法

本プロジェクトは、学習されたペアワイズ回転を使用して重みの外れ値を抑制する「ペアワイズ回転量子化」を実装しています。この技術により、従来の量子化手法で見られる顕著な精度低下を回避しながら、モデルを4ビット精度に圧縮できます。

対象ユーザー

NVIDIA GPU（vLLMおよびTransformers経由）またはApple Silicon（MLX経由）を使用する、限られたハードウェア上で大規模モデルを効率的に実行したい開発者や研究者向けです。

特徴

  • 高い効率性：AWQと同等の速度で動作します。
  • 広範なハードウェア対応：NVIDIA GPUとApple Siliconに対応しています。
  • 事前量子化モデル：Hugging Face上で、Qwen、Gemma、LlamaモデルのParoQuant最適化版を多数提供しています。
  • カスタム量子化：回転パラメータの最適化ツールと、既存モデルをParoQuantチェックポイントに変換するためのツールを備えています。

関連

  • プロジェクト
    ModelCloud/GPTQModel

    NVIDIA、AMD、Intel、Huawei NPU などのハードウェアアクセラレーションを活用した、GPTQ や AWQ などの手法でモデルを圧縮する包括的なLLM量子化ツールキットです。

  • Dispatch
    Intel AutoRound: LLM と VLM のための高度なウェイトオンリー量子化

    Intel は AutoRound を導入しました。これは、署名付き勾配降下法を使用して LLM と VLM の高精度低ビット量子化（INT2〜INT8）を実現するウェイトオンリーのポストトレーニング量子化手法です。

  • プロジェクト
    intel/auto-round

    AutoRound は、大規模言語モデル（LLM）および視覚言語モデル（VLM）を超高ビット幅（2–4 ビット）に量定化する、Intel のオープンソース Python ツールキットです。高精度の丸め（符号勾配降下）を提供し、AutoRound、AutoAWQ、AutoGPTQ、GGUF などの複数のエクスポート形式に対応。Transformers、vLLM、SGLang、LLM-Compressor とシームレスに統合可能です。`pip install auto-round`（または HPU/XPU 版）でインストールでき、簡単な CLI（`auto-round …`）または Python API（`AutoRound(...).quantize_and_save`）でモデルを量定化できます。

  • プロジェクト
    Picovoice/picollm

    スマートフォンからウェブブラウザまで、さまざまなデバイス上で高精度かつ圧縮されたLLMをローカルで実行できるクロスプラットフォーム推論エンジン。

  • プロジェクト
    FujitsuResearch/OneCompression

    QEP および AutoBit などの高度な量子化技術を活用して、モデルサイズと VRAM 使用量を削減する Python パッケージ。