vllm-project/compressed-tensors

解決する課題

compressed-tensors は、モデル圧縮形式の断片化を解決するために設計されたライブラリです。GPTQ、AWQ、SmoothQuantなどの異なる量子化・圧縮技術は、多くの場合、独自または一貫性のないストレージ形式を使用しており、開発者がそれらを切り替えたり、異なる推論エンジン間でモデルをデプロイしたりすることを困難にしています。

仕組み

safetensors 形式を拡張し、統一された拡張可能なチェックポイント形式を作成します。これにより、混合精度、低ビット量子化、スパース性パターンなど、多種多様な圧縮スキームを単一の一貫した構造で表現できます。また、チェックポイント変換ツールや、利用可能なVRAMを超えるモデルをCPUやディスクに透過的にオフロードする機能も提供します。

対象ユーザー

効率的なデプロイのためにLLMを圧縮する必要がある、さまざまな量子化手法を試したい、あるいはモデルのデプロイパイプラインを簡素化したいAI研究者や開発者。

主な特徴

• 統一された形式: 複数の圧縮スキーム（GPTQ、AWQ、SmoothQuant、SparseGPTなど）を1つの一貫した形式でサポート。
• 幅広い量子化サポート: アクティベーション量子化、混合精度、KVキャッシュ量子化、およびレイヤーごとに異なる量子化を行う非均一スキームを処理。
• スパース性と変換: 非構造化および半構造化（2:4）スパース性と、回転ベースの量子化変換（例：Hadamard）の両方をサポート。
• エコシステム統合: Hugging Face、PyTorch、vLLM、SGLangとのシームレスな連携を前提に設計。
• チェックポイント変換: AutoAWQやModelOpt NVFP4など、さまざまな形式間での変換機能。