z-lab/paroquant
[ICLR 2026] ParoQuant: Pairwise Rotation Quantization for Efficient Reasoning LLM Inference
何を解決するか
ParoQuantは、大規模言語モデル（LLMs）におけるINT4量子化で通常見られる精度の低下を解決します。特に推論タスクにおいて、低精度（INT4）と高精度（FP16）モデルの性能ギャップを埋め、高い推論速度を維持します。
動作方法
本プロジェクトは、学習されたペアワイズ回転を使用して重みの外れ値を抑制する「ペアワイズ回転量子化」を実装しています。この技術により、従来の量子化手法で見られる顕著な精度低下を回避しながら、モデルを4ビット精度に圧縮できます。
対象ユーザー
NVIDIA GPU（vLLMおよびTransformers経由）またはApple Silicon（MLX経由）を使用する、限られたハードウェア上で大規模モデルを効率的に実行したい開発者や研究者向けです。
特徴
- 高い効率性：AWQと同等の速度で動作します。
- 広範なハードウェア対応：NVIDIA GPUとApple Siliconに対応しています。
- 事前量子化モデル：Hugging Face上で、Qwen、Gemma、LlamaモデルのParoQuant最適化版を多数提供しています。
- カスタム量子化：回転パラメータの最適化ツールと、既存モデルをParoQuantチェックポイントに変換するためのツールを備えています。
関連
- プロジェクト
ModelCloud/GPTQModelGPT‑QModelは、LLM向けの多くの低ビット量子化手法（GPTQ、AWQなど）を統合したオープンソースのPythonライブラリで、CUDA、ROCm、Ascend、Intel XPU、Apple Silicon、CPU上でキャリブレーション、変換、検証、高速推論を提供し、Transformers、vLLM、SGLangとの統合も備えています。
- Dispatch
- プロジェクト
intel/auto-roundAutoRoundは、大規模言語モデルおよび視覚言語モデルのトレーニング後量子化のためのオープンソースのPythonツールキットです。超低ビット（2〜7ビット）および混合精度スキームをサポートし、Transformers/vLLM/SGLangと統合され、Intel CPU/XPU、NVIDIA GPU、Habana Gaudiで動作します。ユーザーはシンプルなCLIまたはPython APIを介して量子化でき、速度と精度をトレードオフするレシピを選択し、GGUFなどの形式にエクスポートしてダウンストリーム推論を行うことができます。
- プロジェクト
Picovoice/picollmスマートフォンからウェブブラウザまで、さまざまなデバイス上で高精度かつ圧縮されたLLMをローカルで実行できるクロスプラットフォーム推論エンジン。
- プロジェクト
FujitsuResearch/OneCompressionOneComp は、高度なポストトレーニング量子化（QEP、LPCD、AutoBit、MDBF など）を使用して大規模言語モデルを自動的に圧縮する Python ライブラリです。利用可能な VRAM に基づいてレイヤーごとのビット幅を選択し、ファインチューニング、エクスポート（GGUF、OpenVINO）、およびサービング（vLLM）のためのツールを提供します。これは、ワンラインの CLI またはシンプルな Python API を介して動作します。