z-lab/paroquant

[ICLR 2026] ParoQuant: Pairwise Rotation Quantization for Efficient Reasoning LLM Inference

What it solves

ParoQuant は、特に推論タスクにおいて、Large Language Models（LLMs）での INT4 量子化に伴う精度低下を解決します。モデルサイズとメモリフットプリントを削減しつつ、元のフル精度（FP16）モデルに近い性能を維持することを目指します。

How it works

本プロジェクトは Pairwise Rotation Quantization を実装しており、学習されたペアワイズ回転を用いて重みの外れ値を抑制します。この手法により、モデルを 4 ビット（INT4）に量子化しながら、量子化版と元の FP16 モデル間の精度ギャップを埋め、AWQ と同等の高速推論を実現します。

Who it’s for

NVIDIA GPU（vLLM と Transformers 経由）や Apple Silicon（MLX 経由）など、さまざまなハードウェア上で効率的かつ高性能な LLM をデプロイしたい開発者や研究者向けに設計されています。

Highlights

  • High Accuracy: INT4 量子化でも FP16 と同等の精度を実現。
  • Cross-Platform Support: NVIDIA GPU と Apple Silicon に対応。
  • Broad Model Support: Gemma 4、Qwen、Llama 系列の事前量子化チェックポイントを提供。
  • Flexible Deployment: OpenAI 互換の API サーバーとインタラクティブなチャット CLI を含む。
  • Custom Quantization: 回転パラメータを最適化し、カスタムモデルを量子化するためのツールを提供。