GPT‑QModel – LLM量化统一平台

功能

GPT‑QModel是一个Python库，允许您使用各种量化技术（GPTQ、AWQ、ParoQuant、GGUF、FP8、EXL3、QQQ等）压缩大型语言模型（LLM），使其更小、运行更快。它提供统一一致的API，用于：

• 校准 – 在样本数据集上测量模型的激活统计。
• 量化 – 将权重转换为低比特格式（2‑8位、FP8等）。
• 验证 – 检查量化后的模型是否保持质量。
• 转换与保存 – 以GGUF或MLX等格式导出检查点。
• 加速推理 – 使用vLLM和SGLang等流行运行时加载量化模型。

所有这些都可以在多种硬件后端上运行：NVIDIA CUDA、AMD ROCm、华为Ascend、Intel XPU、Apple硅金属和普通CPU。

主要功能（根据README描述）

功能	详情
广泛的方法支持	GPTQ、AWQ、ParoQuant、QQQ、GGUF、FP8、EXL3、GPTAQ、FOEM、BitsAndBytes等。
多运行时	与🤗 Transformers、Optimum、PEFT原生集成，推理后端vLLM和SGLang。
硬件覆盖	CUDA、ROCm、Ascend NPU、Intel XPU、Apple M系列（Metal/MLX）和CPU（AVX/AMX）。
动态逐层量化	每层可以有自己的位宽或完全排除。
多GPU数据并行量化	在GPU之间分散工作时速度提升最高约80 %。
Apple硅原生流水线	在M系列芯片上进行基于MLX的GPTQ/AWQ量化和EXL3权重量化。
广泛的模型目录	通过内部MODEL_MAP支持200多个模型系列（Llama、Gemma、Qwen、DeepSeek、InternVL等）。
打包API	用于逐层内核可行性的hf_打包/重新打包API（被AutoRound等工具使用）。
高性能内核	Marlin、Machete、BitBLAS、Triton、Exllama V3/EXL3和Intel Torch融合内核。
注重质量	单元测试覆盖、检查点验证和4位GPTQ评估工具。
开源和PyPI	Apache‑2.0许可证，在GitHub和PyPI上发布（pip install gptqmodel）。

谁可能使用它？

• 研究工程师 – 希望试验低比特LLM而无需拼凑许多单独工具的人。
• MLOps团队 – 需要在异构集群上量化、验证和部署模型的可重现流水线的团队。
• 产品开发者 – 面向内存有限的边缘设备（Apple Silicon、Intel CPUs、Ascend NPU）。
• 社区贡献者 – 构建新量化方法的人 – 模块化的“方法 → 格式 → 后端”矩阵使自定义内核易于集成。

如何开始（README中的快速示例）

pip install 'gptqmodel[mlx]'   # 可选的MLX用于Apple硅

from gptqmodel import GPTQModel

# 在Apple硅上使用原生MLX流水线量化Qwen模型
GPTQModel.quantize_mlx(
    "Qwen/Qwen3-0.6B",
    "./qwen3-mlx-gptq",
    method="gptq",   # 或"awq"
)

相同的API适用于CUDA、ROCm或CPU后端；只需安装相应的附加包并选择所需的method和format。

生态系统与采用

README列出了Hugging Face、Intel、NVIDIA和阿里云的公开参考，表明该库正被用于生产级流水线和模型托管服务。

---

上述所有信息均直接来自仓库的README；没有推断其他功能。