z-lab/paroquant
[ICLR 2026] ParoQuant: Pairwise Rotation Quantization for Efficient Reasoning LLM Inference
해결하는 문제
ParoQuant은 대규모 언어 모델(LLMs)에서 일반적으로 발생하는 INT4 양자화로 인한 정확도 저하를 해결합니다. 특히 추론 작업에 있어서 저정밀도(INT4)와 고정밀도(FP16) 모델 간의 성능 격차를 줄이고, 높은 추론 속도를 유지합니다.
작동 방식
이 프로젝트는 학습된 쌍별 회전을 사용하여 가중치 이상치를 억제하는 '쌍별 회전 양자화'를 구현합니다. 이 기법을 통해 기존 양자화 방법에서 흔히 발생하는 정확도 급락 없이 모델을 4비트 정밀도로 압축할 수 있습니다.
대상 사용자
제한된 하드웨어에서 대규모 모델을 효율적으로 실행해야 하는 개발자 및 연구자에게 적합합니다. 특히 NVIDIA GPU(vLLM 및 Transformers를 통해) 또는 Apple Silicon(MLX를 통해)을 사용하는 사용자를 대상으로 합니다.
주요 특징
- 고효율성: AWQ와 유사한 속도로 실행됩니다.
- 광범위한 하드웨어 호환성: NVIDIA GPU와 Apple Silicon 모두 지원합니다.
- 사전 양자화 모델: Hugging Face에서 Qwen, Gemma, Llama 모델의 ParoQuant 최적화 버전을 다수 제공합니다.
- 사용자 정의 양자화: 회전 파라미터 최적화 도구와 기존 모델을 ParoQuant 체크포인트로 변환하는 도구를 포함합니다.
관련
- 프로젝트
ModelCloud/GPTQModelGPT‑QModel은 LLM을 위한 다양한 저비트 양자화 방법(GPTQ, AWQ 등)을 통합한 오픈소스 Python 라이브러리로, CUDA, ROCm, Ascend, Intel XPU, Apple Silicon 및 CPU에서 캘리브레이션, 변환, 검증, 고속 추론을 제공하며 Transformers, vLLM 및 SGLang과의 통합을 포함합니다.
- Dispatch
- 프로젝트
intel/auto-roundAutoRound는 대규모 언어 모델 및 비전-언어 모델의 포스트 트레이닝 양자화를 위한 오픈소스 Python 툴킷입니다. 초저비트(2~7비트) 및 혼합 정밀도 스킴을 지원하며, Transformers/vLLM/SGLang과 통합되고 Intel CPU/XPU, NVIDIA GPU, Habana Gaudi에서 실행됩니다. 사용자는 간단한 CLI 또는 Python API를 통해 양자화할 수 있으며, 속도와 정확성을 절충하는 레시피를 선택하고 GGUF와 같은 형식으로 내보내 다운스트림 추론을 수행할 수 있습니다.
- 프로젝트
Picovoice/picollm스마트폰에서 웹 브라우저에 이르기까지 다양한 장치에서 고정확도, 압축된 LLM을 로컬로 실행할 수 있는 크로스플랫폼 추론 엔진입니다.
- 프로젝트
FujitsuResearch/OneCompressionOneComp는 고급 포스트 트레이닝 양자화(QEP, LPCD, AutoBit, MDBF 등)를 사용하여 대규모 언어 모델을 자동으로 압축하고, 사용 가능한 VRAM에 따라 레이어별 비트 폭을 선택하며, 파인튜닝, 내보내기(GGUF, OpenVINO), 서빙(vLLM)을 위한 도구를 제공하는 Python 라이브러리입니다. 한 줄의 CLI 또는 간단한 Python API를 통해 작동합니다.