microsoft/VPTQ

VPTQ, A Flexible and Extreme low-bit quantization algorithm

해결하는 문제

VPTQ는 높은 정확도를 유지하고 추론 오버헤드를 최소화하면서, 재학습 없이 대규모 언어 모델(LLM)을 매우 낮은 비트 폭(2비트 미만)으로 압축하는 과제를 해결합니다.

작동 원리

**벡터 양자화(Vector Quantization)**를 기반으로 한 새로운 포스트 트레이닝 양자화(PTQ) 방법을 활용합니다. 이 접근 방식은 거대 모델(예: Llama-3.1 405B)을 1-2비트로 압축할 수 있게 해줍니다. 프로세스는 가볍게 설계되어 405B 파라미터 모델을 양자화하는 데 약 17시간이 소요됩니다.

대상

메모리가 제한된 하드웨어(예: 단일 RTX 4090에서 70B 모델 실행)에 거대 LLM을 배포해야 하는 AI 개발자 및 연구자, 그리고 낮은 디코딩 오버헤드로 높은 처리량을 가진 추론을 원하는 사용자.

주요 특징

  • 극한의 압축: 최대 405B 파라미터 모델에 대해 2비트 미만 압축 지원.
  • 높은 효율성: 가벼운 양자화 알고리즘과 최적화된 TTFT(Time To First Token) 및 처리량을 통한 민첩한 추론.
  • 폭넓은 통합: Hugging Face Transformers 라이브러리에 통합됨.
  • 광범위한 모델 지원: Llama 3.1/3.3, DeepSeek R1, Mistral, Qwen을 포함한 다양한 모델 제품군과 호환.

관련

  • 프로젝트
    ModelCloud/GPTQModel

    NVIDIA, AMD, Intel, Huawei NPU 등 다양한 하드웨어 가속을 활용해 GPTQ 및 AWQ 등의 방법으로 모델을 압축하는 종합적인 LLM 양자화 툴킷입니다.

  • 프로젝트
    vllm-project/llm-compressor

    LLM Compressor는 대규모 언어 모델을 `compressed-tensors` 형식으로 양자화 및 절단하는 Python 라이브러리로, vLLM에서 메모리 효율적으로 배포할 수 있게 합니다. 다양한 저정밀도 형식(NVFP4, FP8, INT4 등), 여러 PTQ/GPTQ 알고리즘, DDP 및 디스크 오프로딩을 통한 거대 모델 지원, 인기 LLM의 사전 양자화 체크포인트를 제공합니다.

  • Dispatch
    Hugging Face AutoGPTQ 및 Transformers 통합

    Hugging Face는 AutoGPTQ 라이브러리를 Transformers에 통합하여, 4비트에서 정확도 손실을 무시할 수 있는 수준으로 유지하면서 메모리 요구 사항을 줄이기 위해 LLM을 8, 4, 3 또는 2비트 정밀도로 양자화할 수 있도록 했습니다.

  • 프로젝트
    intel/auto-round

    AutoRound는 대규모 언어 모델 및 시각 언어 모델의 초저비트(2-4비트) 양자화를 위한 Intel의 오픈소스 Python 툴킷입니다. 빠르고 높은 정확도의 레시피를 제공하며, CPU, Intel GPU, NVIDIA CUDA, Habana Gaudi를 지원하고 Transformers, vLLM, SGLang과 통합됩니다. pip을 통해 설치하고 한 줄의 CLI 또는 Python API를 사용하여 양자화된 모델을 지원되는 모든 백엔드에 배포할 수 있습니다.

  • 프로젝트
    InternLM/lmdeploy

    LLM과 VLM의 압축, 배포, 서비스를 위한 고성능 툴킷으로, 고스루풋 추론 엔진과 양자화 기술을 제공하여 최적의 처리 성능을 구현합니다.