vllm-project/compressed-tensors

해결하는 문제

compressed-tensors는 모델 압축 형식의 파편화 문제를 해결하기 위해 설계된 라이브러리입니다. GPTQ, AWQ, SmoothQuant와 같은 서로 다른 양자화 및 압축 기술은 종종 독점적이거나 일관되지 않은 저장 형식을 사용하여, 개발자가 이를 전환하거나 서로 다른 추론 엔진 간에 모델을 배포하기 어렵게 만듭니다.

작동 방식

safetensors 형식을 확장하여 통합되고 확장 가능한 체크포인트 형식을 생성합니다. 이를 통해 혼합 정밀도, 저비트 양자화, 희소성 패턴을 포함한 다양한 압축 체계를 단일하고 일관된 구조로 표현할 수 있습니다. 또한 체크포인트 변환 도구와 사용 가능한 VRAM을 초과하는 모델을 CPU나 디스크로 투명하게 오프로드하는 기능을 제공합니다.

대상 사용자

효율적인 배포를 위해 LLM을 압축해야 하거나, 다양한 양자화 방법을 실험하고 모델 배포 파이프라인을 간소화하려는 AI 연구원 및 개발자.

주요 특징

• 통합 형식: 여러 압축 체계(GPTQ, AWQ, SmoothQuant, SparseGPT 등)를 하나의 일관된 형식으로 지원합니다.
• 광범위한 양자화 지원: 활성화 양자화, 혼합 정밀도, KV 캐시 양자화 및 레이어별로 다르게 양자화되는 비균일 체계를 처리합니다.
• 희소성 및 변환: 비구조화 및 반구조화(2:4) 희소성과 회전 기반 양자화 변환(예: Hadamard)을 모두 지원합니다.
• 생태계 통합: Hugging Face, PyTorch, vLLM, SGLang과 원활하게 연동되도록 설계되었습니다.
• 체크포인트 변환: AutoAWQ 및 ModelOpt NVFP4와 같은 다양한 형식 간의 변환 기능을 제공합니다.